How do you pass special parameters for AWS Glue jobs via AWS CloudFormation

0

When creating a AWS Glue ETL Job with AWS CloudFormation, how do you specify advanced options such as additional JAR's that the job may require, special security configuration parameters for KMS encryption, etc?

AWS
demandé il y a 5 ans1786 vues
1 réponse
0
Réponse acceptée

Hi,

In AWS CloudFormation when using the Resource AWS::Glue::Job under Properties you need to add these advanced parameter in the DefaultArguments section.

            "DefaultArguments": {
            "--TempDir": "s3://aws-glue-temporary-633748029103-eu-west-1/serhat",
            "--class": "GlueApp",
            "--enable-glue-datacatalog": "",
            "--enable-metrics": "",
            "--encryption-type": "sse-s3",
            "--job-bookmark-option": "job-bookmark-enable",
            "--job-language": "scala"
        },

You can find the list of parameters here.

For additional JARS: --extra-jars is the parameter.

For Server Side Encryption: --encryption-type is the parameter.

Hope this helps.

EXPERT
Serhat
répondu il y a 5 ans
AWS
EXPERT
Raphael
vérifié il y a 2 ans

Vous n'êtes pas connecté. Se connecter pour publier une réponse.

Une bonne réponse répond clairement à la question, contient des commentaires constructifs et encourage le développement professionnel de la personne qui pose la question.

Instructions pour répondre aux questions