SSE error occurs with Glue 3.0 but not 2.0

0

An identical job that is writing a dynamic frame via write_dynamic_frame.from_options is succeeding in Glue 2.0 (as usual) and fails with the below error message when changing the version to Glue 3.0. Anyone run into this and found the cause or workaround?

An error occurred while calling o90.pyWriteDynamicFrame. java.io.IOException: Unknown Server Side Encryption algorithm aws:kms

tjtoll
質問済み 3年前315ビュー
1回答
0
承認された回答

I ran into the same issue. For me, the solution was to switch from using the "s3a" URI schema to just "s3" when reading files.
I went from this
df = spark.read.json('s3a://...')
to this
df = spark.read.json('s3://...')

Hope this helps

CoryMcC
回答済み 3年前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン

関連するコンテンツ