Common Crawl中文数据处理速度过慢

0

访问及处理Common Crawl中文数据速度过慢，尤其是2020年及之前的部分，相对2022年及之后的数据，处理速度慢很多倍

Argomenti

Analisi Apprendimento automatico e intelligenza artificiale

Tag

Analisi Apprendimento automatico e intelligenza artificiale

Lingua

中文 (简体)

rePost-User-8248716

posta un anno fa197 visualizzazioni

1 Risposta

Più recenti
Maggior numero di voti
Maggior numero di commenti

Queste risposte sono utili? Dai un voto positivo alla risposta corretta per aiutare la community a trarre vantaggio dalle tue conoscenze.

0

原因可能狠多。Schema 比2020年复杂了，处理文件数量比2020年多，以及其他原因，都可能造成 Glue Crawler在发现 schema 时，花费更多的时间。

con risposta 8 mesi fa

Contenuto pertinente

Quali sono i passaggi di base per il montaggio, lo smontaggio, il montaggio automatico e il montaggio on-premise del file system EFS?
AWS UFFICIALEAggiornata 2 anni fa
Come posso configurare i server on-premise per utilizzare credenziali temporanee con SSM Agent e CloudWatch Agent unificato?
AWS UFFICIALEAggiornata un anno fa
Come posso impedire ad AWS OpsWorks Stacks di riavviare inaspettatamente le istanze integre?
AWS UFFICIALEAggiornata 3 anni fa
Posso usare Amazon S3 per lo storage Hadoop anziché HDFS?
AWS UFFICIALEAggiornata 2 anni fa