How do you pass special parameters for AWS Glue jobs via AWS CloudFormation

0

When creating a AWS Glue ETL Job with AWS CloudFormation, how do you specify advanced options such as additional JAR's that the job may require, special security configuration parameters for KMS encryption, etc?

AWS
preguntada hace 5 años1826 visualizaciones
1 Respuesta
0
Respuesta aceptada

Hi,

In AWS CloudFormation when using the Resource AWS::Glue::Job under Properties you need to add these advanced parameter in the DefaultArguments section.

            "DefaultArguments": {
            "--TempDir": "s3://aws-glue-temporary-633748029103-eu-west-1/serhat",
            "--class": "GlueApp",
            "--enable-glue-datacatalog": "",
            "--enable-metrics": "",
            "--encryption-type": "sse-s3",
            "--job-bookmark-option": "job-bookmark-enable",
            "--job-language": "scala"
        },

You can find the list of parameters here.

For additional JARS: --extra-jars is the parameter.

For Server Side Encryption: --encryption-type is the parameter.

Hope this helps.

EXPERTO
Serhat
respondido hace 5 años
AWS
EXPERTO
Raphael
revisado hace 2 años

No has iniciado sesión. Iniciar sesión para publicar una respuesta.

Una buena respuesta responde claramente a la pregunta, proporciona comentarios constructivos y fomenta el crecimiento profesional en la persona que hace la pregunta.

Pautas para responder preguntas