Common Crawl中文数据处理速度过慢

0

访问及处理Common Crawl中文数据速度过慢,尤其是2020年及之前的部分,相对2022年及之后的数据,处理速度慢很多倍

已提問 1 年前檢視次數 197 次
1 個回答
0

原因可能狠多。Schema 比2020年复杂了,处理文件数量比2020年多,以及其他原因,都可能造成 Glue Crawler在发现 schema 时,花费更多的时间。

profile picture
已回答 8 個月前

您尚未登入。 登入 去張貼答案。

一個好的回答可以清楚地回答問題並提供建設性的意見回饋,同時有助於提問者的專業成長。

回答問題指南