stepfunction内でVPC内で実行されているGlueを起動できない

Question

connectionを利用してRDSに接続している(SGはconnectionとRDSともに同じ、private subnet内)GlueJobを起動したいのですが、以下のエラーが出てしまいます。おそらくジョブが存在しないと怒られています。

```
{
    "details": {
        "cause": "Failed to start job run due to missing metadata. (Service: AWSGlue; Status Code: 400; Error Code: EntityNotFoundException; Request ID: ～; Proxy: null)",
        "error": "Glue.EntityNotFoundException",
        "resource": "startJobRun.sync",
        "resourceType": "glue"
    }～～省略
}

```

デバッグで試したことは、以下です。
1. stepfunction用のVPCエンドポイントを作成
2. SGで443ポートをインバウンドルールで許可するように設定
3. IAMで以下のポリシーを作成してステートマシンにアタッチ
      
```
 {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": "glue:StartJobRun",
            "Resource": "*"
        }
```
4. ジョブ名をコピペで貼る

ちなみに、ステートマシンのJSON設定は以下です。

```
{
  "Comment": "A description of my state machine",
  "StartAt": "Glue StartJobRun",
  "States": {
    "Glue StartJobRun": {
      "Type": "Task",
      "Resource": "arn:aws:states:::glue:startJobRun.sync",
      "Parameters": {
        "JobName": "〇〇",
        "Arguments": {
          "--object_key.$": "$.detail.object.key"
        }
      },
      "End": true
    }
  }
}
```
ご回答よろしくお願いします。

Riku_Kobayashi · Accepted Answer

AWS CLIなどからStepFunctionsで指定しているパラメータを使用してStartJobRunを実行することは可能ですか？  
https://awscli.amazonaws.com/v2/documentation/api/latest/reference/glue/start-job-run.html

AWS CLIだと以下のような形になります。  
「--arguments」オプションは実際のオブジェクトキーなどを入れてみてください。  
```
aws glue start-job-run --job-name "〇〇" --arguments { ... }
```

また、StepFunctionsの定義で指定しているArgumentsの値を実際の値に変更して動くかなども見ていただくとよいかもしれません。  
```
        "Arguments": {
          "--object_key.$": "$.detail.object.key"
        }
```

re:Post Agent · Answer

このエラーは、AWS Step FunctionsがAWS Glueジョブを起動しようとしたが、指定されたジョブが見つからなかったことを示しています。以下の点を確認してみてください：

1. ジョブ名の正確性：
   ステートマシンのJSONで指定しているジョブ名（"JobName": "〇〇"）が、実際のAWS Glueジョブの名前と完全に一致していることを確認してください。大文字小文字や空白も含めて正確に一致する必要があります。

2. IAM権限：
   Step Functionsの実行ロールに、AWS Glueジョブを起動するための十分な権限があることを確認してください。"glue:StartJobRun"だけでなく、"glue:GetJob"の権限も必要かもしれません。以下のようなポリシーを試してみてください：

```json
   {
     "Effect": "Allow",
     "Action": [
       "glue:StartJobRun",
       "glue:GetJob",
       "glue:GetJobRun",
       "glue:BatchStopJobRun"
     ],
     "Resource": "*"
   }
   ```

3. VPCエンドポイント：
   AWS GlueのVPCエンドポイントも作成されていることを確認してください。Step Functionsのエンドポイントだけでなく、Glue用のエンドポイントも必要です。

4. リージョンの一致：
   Step FunctionsとAWS Glueジョブが同じAWSリージョンにあることを確認してください。

5. Glueジョブの状態：
   AWS Glueコンソールで、ジョブが正しく設定され、有効になっていることを確認してください。

6. ログの確認：
   AWS Glueのログを確認し、ジョブ起動時に他のエラーが発生していないか確認してください。

これらの点を確認しても問題が解決しない場合は、AWS サポートに連絡して詳細な調査を依頼することをお勧めします。  
**Sources**  
[Start an AWS Glue job with Step Functions - AWS Step Functions](https://docs.aws.amazon.com/step-functions/latest/dg/connect-glue.html)  
[Troubleshooting errors Spark errors - AWS Glue](https://docs.aws.amazon.com/glue/latest/dg/glue-troubleshooting-errors.html)  
[Gaming Analytics: Leveraging AWS Glue and Amazon Redshift Spectrum for Player Insights | AWS for Games Blog](https://aws.amazon.com/blogs/gametech/gaming-analytics-leveraging-aws-glue-and-amazon-redshift-spectrum-for-player-insights/)

stepfunction内でVPC内で実行されているGlueを起動できない

関連するコンテンツ