Glue crawler creating a table only with 'Crawl all sub-folders' option, but not with 'Crawl new sub-folders only'

0

I have a .csv file in s3://<bucket-name>/SRC1/TBL1/2022/10/04/. Created a crawler on this bucket with the following configuration options

  • Crawl new sub-folders only
  • Create a single schema for each S3 path
  • Table level - 3
  • teaget data base 'sample-db'

When I trigger my crawler, expectation was to create a new table 'TBL1' in 'sample-db'. But it did not create the new table. Then I updated the config option to 'Crawl all sub-folders', then the table was created.

Question: Can we make crawler to create the table with option Crawl new sub-folders only TIA

feita há 2 anos85 visualizações
Sem respostas

Você não está conectado. Fazer login para postar uma resposta.

Uma boa resposta responde claramente à pergunta, dá feedback construtivo e incentiva o crescimento profissional de quem perguntou.

Diretrizes para responder a perguntas