Durch die Nutzung von AWS re:Post stimmt du den AWS re:Post Nutzungsbedingungen
AWS re:Postre:Post

Common Crawl中文数据处理速度过慢

0

访问及处理Common Crawl中文数据速度过慢，尤其是2020年及之前的部分，相对2022年及之后的数据，处理速度慢很多倍

Themen
AnalysenMaschinelles Lernen & KI
Tags
AnalysenMaschinelles Lernen & KI
Sprache
中文 (简体)
rePost-User-8248716
gefragt vor einem Jahr197 Aufrufe
1 Antwort
0

原因可能狠多。Schema 比2020年复杂了，处理文件数量比2020年多，以及其他原因，都可能造成 Glue Crawler在发现 schema 时，花费更多的时间。

profile picture
derekyonghai
beantwortet vor 8 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen

Relevanter Inhalt