Glue crawler creating a table only with 'Crawl all sub-folders' option, but not with 'Crawl new sub-folders only'

0

I have a .csv file in s3://<bucket-name>/SRC1/TBL1/2022/10/04/. Created a crawler on this bucket with the following configuration options

  • Crawl new sub-folders only
  • Create a single schema for each S3 path
  • Table level - 3
  • teaget data base 'sample-db'

When I trigger my crawler, expectation was to create a new table 'TBL1' in 'sample-db'. But it did not create the new table. Then I updated the config option to 'Crawl all sub-folders', then the table was created.

Question: Can we make crawler to create the table with option Crawl new sub-folders only TIA

質問済み 2年前85ビュー
回答なし

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン

関連するコンテンツ