Common Crawl中文数据处理速度过慢

0

访问及处理Common Crawl中文数据速度过慢,尤其是2020年及之前的部分,相对2022年及之后的数据,处理速度慢很多倍

質問済み 1年前197ビュー
1回答
0

原因可能狠多。Schema 比2020年复杂了,处理文件数量比2020年多,以及其他原因,都可能造成 Glue Crawler在发现 schema 时,花费更多的时间。

profile picture
回答済み 8ヶ月前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン