Glue crawler creating a table only with 'Crawl all sub-folders' option, but not with 'Crawl new sub-folders only'

0

I have a .csv file in s3://<bucket-name>/SRC1/TBL1/2022/10/04/. Created a crawler on this bucket with the following configuration options

  • Crawl new sub-folders only
  • Create a single schema for each S3 path
  • Table level - 3
  • teaget data base 'sample-db'

When I trigger my crawler, expectation was to create a new table 'TBL1' in 'sample-db'. But it did not create the new table. Then I updated the config option to 'Crawl all sub-folders', then the table was created.

Question: Can we make crawler to create the table with option Crawl new sub-folders only TIA

gefragt vor 2 Jahren85 Aufrufe
Keine Antworten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen