How do you pass special parameters for AWS Glue jobs via AWS CloudFormation

0

When creating a AWS Glue ETL Job with AWS CloudFormation, how do you specify advanced options such as additional JAR's that the job may require, special security configuration parameters for KMS encryption, etc?

AWS
posta 5 anni fa1787 visualizzazioni
1 Risposta
0
Risposta accettata

Hi,

In AWS CloudFormation when using the Resource AWS::Glue::Job under Properties you need to add these advanced parameter in the DefaultArguments section.

            "DefaultArguments": {
            "--TempDir": "s3://aws-glue-temporary-633748029103-eu-west-1/serhat",
            "--class": "GlueApp",
            "--enable-glue-datacatalog": "",
            "--enable-metrics": "",
            "--encryption-type": "sse-s3",
            "--job-bookmark-option": "job-bookmark-enable",
            "--job-language": "scala"
        },

You can find the list of parameters here.

For additional JARS: --extra-jars is the parameter.

For Server Side Encryption: --encryption-type is the parameter.

Hope this helps.

ESPERTO
Serhat
con risposta 5 anni fa
AWS
ESPERTO
Raphael
verificato 2 anni fa

Accesso non effettuato. Accedi per postare una risposta.

Una buona risposta soddisfa chiaramente la domanda, fornisce un feedback costruttivo e incoraggia la crescita professionale del richiedente.

Linee guida per rispondere alle domande