Come posso impostare parametri speciali in un job AWS Glue utilizzando AWS CloudFormation?

Breve descrizione

Per impostare parametri speciali per il tuo lavoro in AWS Glue, devi fornire una coppia chiave-valore per la proprietà DefaultArguments della risorsa AWS::Glue::Job in CloudFormation. Se fornisci una chiave solo nella definizione del lavoro, CloudFormation restituisce un errore di convalida.

Risoluzione

1. Nel tuo modello CloudFormation, imposta il valore del tuo parametro speciale su una stringa vuota per la proprietà DefaultArguments della definizione del processo.

JSON:

"MyJob": {
  "Type": "AWS::Glue::Job",
  "Properties": {
    "Command": {
      "Name": "glueetl",
      "ScriptLocation": "s3://my-test//test-job1"
    },
    "DefaultArguments": {
      "--job-bookmark-option": "job-bookmark-enable",
      "--enable-metrics": ""
    },
    "ExecutionProperty": {
      "MaxConcurrentRuns": 2
    },
    "MaxRetries": 0,
    "Name": "cf-job3",
    "Role": {
      "Ref": "MyJobRole"
    }
  }
}

YAML:

MyJob:
  Type: 'AWS::Glue::Job'
  Properties:
    Command:
      Name: glueetl
      ScriptLocation: 's3://my-test//test-job1'
    DefaultArguments:
      '--job-bookmark-option': job-bookmark-enable
      '--enable-metrics': ''
    ExecutionProperty:
      MaxConcurrentRuns:
    MaxRetries: 0
    Name: cf-job3
    Role: !Ref MyJobRole

Nota: nell'esempio precedente di modelli JSON e YAML, il valore di --enable-metrics è impostato su una stringa vuota. La stringa vuota convalida il modello e avvia la risorsa configurata con il parametro speciale.

2. Per attivare il parametro speciale, run your job.