跳至內容

如何對 AWS Glue 工作書籤的問題進行疑難排解,並解決問題?

1 分的閱讀內容
0

我的 AWS Glue 工作及其書籤無法成功執行或處理所需的資料。

解決方法

正確設定書籤

設定書籤時,請執行下列動作:

  • 為該工作開啟啟用書籤選項。
  • 將工作的最大並行執行次數設定為 1。

正確實作書籤

在擷取、轉換和載入 (ETL) 工作中,使用 AWS Glue DynamicFrame API 從資料來源讀取資料。

**注意:**不要使用 DataFrame API 或 Apache Spark SQL 從資料來源讀取資料。這些方法不支援 AWS Glue 工作書籤功能。

在您的指令碼中包含以下內容:

`job.init(args['JOB_NAME'], args) `  
`datasource0 = glueContext.create_dynamic_frame.from_catalog(database = "db_name",table_name = "table_name", transformation_ctx = "datasource0")`  
`job.commit()`

建立 DynamicFrame 時,必須新增 transformation_ctx 參數作為 ETL 運算子執行個體的唯一識別碼。

**注意:**更新或修改指令碼時,請不要變更 transformation_ctx 參數。

解決 JDBC 來源書籤問題

如果您在使用 Java 資料庫連線 (JDBC) 來源的書籤時遇到問題,請執行下列動作:

  • 如果您的 AWS Glue 指令碼未指定要用作書籤索引鍵的資料欄,請按遞增或遞減對資料表的主索引鍵進行無間隙排序。
  • 如果指令碼使用使用者定義的書籤作為索引鍵,則按遞增或遞減對索引鍵進行排序。您可以包含間隙。
  • 不要使用區分大小寫的資料欄名稱作為書籤索引鍵。

相關資訊

使用作業書籤追蹤已處理的資料

AWS 官方已更新 2 年前