Al usar AWS re:Post, aceptas las AWS re:Post Términos de uso
AWS re:Postre:Post

Common Crawl中文数据处理速度过慢

0

访问及处理Common Crawl中文数据速度过慢，尤其是2020年及之前的部分，相对2022年及之后的数据，处理速度慢很多倍

Temas
AnálisisAprendizaje automático e IA
Etiquetas
AnálisisAprendizaje automático e IA
Idioma
中文 (简体)
rePost-User-8248716
preguntada hace un año197 visualizaciones
1 Respuesta
0

原因可能狠多。Schema 比2020年复杂了，处理文件数量比2020年多，以及其他原因，都可能造成 Glue Crawler在发现 schema 时，花费更多的时间。

profile picture
derekyonghai
respondido hace 8 meses

No has iniciado sesión. Iniciar sesión para publicar una respuesta.

Una buena respuesta responde claramente a la pregunta, proporciona comentarios constructivos y fomenta el crecimiento profesional en la persona que hace la pregunta.

Pautas para responder preguntas

Contenido relevante