Glue数据抓取器 - 跳过添加分区

0

【以下的问题经过翻译处理】 S3中的分区数据如下:

some-dataset/2019-12-28/ some-dataset/2019-12-29/ some-dataset/2019-12-30/ some-dataset/2019-12-31/ some-dataset/2020-01-01/ some-dataset/2020-01-02/ some-dataset/2020-01-03/

当运行一个Glue爬虫来创建目录中的模式时,如何配置爬虫来避免将2019年的分区添加到表中? 如果不可能,是否有一种方法可以完全避免注册任何分区并仅创建表?

profile picture
エキスパート
質問済み 6ヶ月前5ビュー
1回答
0

【以下的回答经过翻译处理】 您可以向爬虫添加排除项,例如,排除任何2019年的数据"/2019-"。对于第二个问题,如果您有一个分区表,那么您至少需要一个分区。当创建一个分区的表之后,可以禁用爬虫。

profile picture
エキスパート
回答済み 6ヶ月前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン

関連するコンテンツ