AWS Glue ジョブのジョブブックマークを有効にしましたが、ジョブはまだデータを再処理しています。
解決方法
ジョブブックマークが有効になっていても、抽出、変換、ロード (ETL) ジョブがデータを再処理する一般的な理由を次に示します。
- ジョブブックマークを持つ複数の同時ジョブがあり、最大同時実行数は 1 に設定されていない。
- job.init() オブジェクトが見つからない。
- job.commit() オブジェクトが見つからない。
- transformation_ctx パラメータが見つからない。
- テーブルのプライマリキーが順番に並べられていない (JDBC 接続のみ)。
- 前回のジョブ実行後にソースデータが変更された。
これらの各問題の詳細については、「エラー: ジョブのブックマークが有効なときにジョブがデータを再処理しています」をご参照ください。
関連情報
ジョブブックマークを使用して処理されたデータの追跡