Ao usar o AWS re:Post, você concorda com os AWS re:Post Termos de uso
AWS re:Postre:Post

Common Crawl中文数据处理速度过慢

0

访问及处理Common Crawl中文数据速度过慢，尤其是2020年及之前的部分，相对2022年及之后的数据，处理速度慢很多倍

Tópicos
AnáliseMachine Learning e IA
Tags
AnáliseMachine Learning e IA
Idioma
中文 (简体)
rePost-User-8248716
feita há um ano198 visualizações
1 Resposta
0

原因可能狠多。Schema 比2020年复杂了，处理文件数量比2020年多，以及其他原因，都可能造成 Glue Crawler在发现 schema 时，花费更多的时间。

profile picture
derekyonghai
respondido há 8 meses

Você não está conectado. Fazer login para postar uma resposta.

Uma boa resposta responde claramente à pergunta, dá feedback construtivo e incentiva o crescimento profissional de quem perguntou.

Diretrizes para responder a perguntas

Conteúdo relevante