AWS Glue 작업 북마크 관련 문제를 해결하려면 어떻게 해야 합니까?

해결 방법

북마크를 올바르게 구성

북마크를 구성할 때 다음 작업을 수행하십시오.

• 작업에 대해 북마크 활성화 옵션을 켭니다.
• 작업의 최대 동시 실행 수를 1로 설정합니다.

북마크를 올바르게 구현

추출, 전환, 적재(ETL) 작업에서 AWS Glue DynamicFrame API를 사용하여 데이터 소스에서 데이터를 읽습니다.

참고: 데이터 소스에서 데이터를 읽기 위해 DataFrame API 또는 Apache Spark SQL을 사용하지 마십시오. 이러한 방법은 AWS Glue 작업 북마크 기능을 지원하지 않습니다.

스크립트에 다음을 포함시킵니다.

`job.init(args['JOB_NAME'], args) `  
`datasource0 = glueContext.create_dynamic_frame.from_catalog(database = "db_name",table_name = "table_name", transformation_ctx = "datasource0")`  
`job.commit()`

DynamicFrame을 생성할 때 transformation_ctx 파라미터를 ETL 연산자 인스턴스의 고유 식별자로 추가해야 합니다.

참고: 스크립트를 업데이트하거나 수정할 때 transformation_ctx 파라미터를 변경하지 마십시오.

JDBC 소스의 북마크 관련 문제 해결

Java 데이터베이스 연결(JDBC) 소스에 대한 북마크에 문제가 있는 경우 다음 작업을 수행하십시오.

• AWS Glue 스크립트에서 북마크 키로 사용할 열을 지정하지 않은 경우 테이블의 프라이머리 키를 간격 없이 오름차순 또는 내림차순으로 정렬합니다.
• 스크립트에서 사용자 정의 북마크를 키로 사용하는 경우 키를 오름차순 또는 내림차순으로 정렬합니다. 간격을 포함할 수 있습니다.
• 대소문자를 구분하는 이름의 열을 북마크 키로 사용하지 않습니다.

관련 정보

작업 북마크를 사용하여 처리된 데이터 추적