访问及处理Common Crawl中文数据速度过慢,尤其是2020年及之前的部分,相对2022年及之后的数据,处理速度慢很多倍
原因可能狠多。Schema 比2020年复杂了,处理文件数量比2020年多,以及其他原因,都可能造成 Glue Crawler在发现 schema 时,花费更多的时间。
로그인하지 않았습니다. 로그인해야 답변을 게시할 수 있습니다.
좋은 답변은 질문에 명확하게 답하고 건설적인 피드백을 제공하며 질문자의 전문적인 성장을 장려합니다.