访问及处理Common Crawl中文数据速度过慢,尤其是2020年及之前的部分,相对2022年及之后的数据,处理速度慢很多倍
rePost-User-8248716
已提问 3 年前434 查看次数
原因可能狠多。Schema 比2020年复杂了,处理文件数量比2020年多,以及其他原因,都可能造成 Glue Crawler在发现 schema 时,花费更多的时间。
derekyonghai
已回答 3 年前
您未登录。 登录 发布回答。
一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。
rePost Polyglot
已提问 3 年前
Tyler
已发布 5 个月前
Tim
已发布 2 年前