AWS Crawler to directly read Delta lake files from S3

0

Are there any ways to read delta lake files from s3 and create Data catalog on top of this to run Glue ETL job? When I crawl in delta folders it creates separate schema for log, manifest & parquets rather then each tables with all the delta log, manifest files and parquet files , https://docs.aws.amazon.com/glue/latest/dg/crawler-data-stores.html says Crawler now have native client then why it is not recognizing the path , Am I missing something.

質問済み 2年前452ビュー
1回答
0

Hi,

Please try installing the Delta Lake Connector for AWS Glue which can be found here.

https://aws.amazon.com/marketplace/pp/prodview-seypofzqhdueq

The Delta Lake Connector will allow you to connect to Delta Lake tables from your Glue jobs and it is offered at no additional cost.

Hope this helps.

profile pictureAWS
回答済み 2年前
profile picture
サポートエンジニア
レビュー済み 2年前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン

関連するコンテンツ