SSE error occurs with Glue 3.0 but not 2.0

An identical job that is writing a dynamic frame via write_dynamic_frame.from_options is succeeding in Glue 2.0 (as usual) and fails with the below error message when changing the version to Glue 3.0. Anyone run into this and found the cause or workaround?

An error occurred while calling o90.pyWriteDynamicFrame. java.io.IOException: Unknown Server Side Encryption algorithm aws:kms

Etiquetas

Criptografía

Idioma

English

tjtoll

preguntada hace 3 años317 visualizaciones

1 Respuesta

Más nuevo
Más votos
Más comentarios

¿Son útiles estas respuestas? Vote a favor de la respuesta correcta para ayudar a la comunidad a beneficiarse de sus conocimientos.

Respuesta aceptada

I ran into the same issue. For me, the solution was to switch from using the "s3a" URI schema to just "s3" when reading files.
I went from this
df = spark.read.json('s3a://...')
to this
df = spark.read.json('s3://...')

Hope this helps

CoryMcC

respondido hace 3 años

Contenido relevante

¿Cómo soluciono el error “El rol de IAM/usuario X no tiene autorización para realizar Y en el recurso Z” en AWS Glue?
OFICIAL DE AWSActualizada hace un año
¿Por qué aparece el error «The snapshot is currently in use by an AMI» cuando intento eliminar mi instantánea de Amazon EBS?
OFICIAL DE AWSActualizada hace 4 meses
¿Cómo puedo solucionar el error «FAILED: SemanticException table is not partitioned but partition spec exists" in Athena» (FALLO: La tabla SemanticException no está particionada, pero la especificación de partición existe») en Athena?
OFICIAL DE AWSActualizada hace un año
¿Cómo puedo resolver el error «The specified queue does not exist or you do not have access to it» cuando ejecuto mi trabajo de AWS Glue para enviar mensajes a Amazon SQS en otra región?
OFICIAL DE AWSActualizada hace 3 años