AWS Glue Data Quality 규칙 관련 문제를 어떻게 해결합니까?
AWS Glue Data Quality 규칙 및 규칙 세트와 관련된 문제를 해결하려고 합니다.
해결 방법
AWS Glue Data Quality 규칙 및 규칙 세트와 관련하여 다음과 같은 문제가 발생할 수 있습니다.
- 키 맵이 데이터 프레임에 적합하지 않습니다.
- 설정한 값이 제약 조건 요구 사항을 충족하지 않습니다.
- 열 유효성 검사 규칙에 잘못된 정규식이 있습니다.
- AWS Glue Data Quality 작업이 느리게 수행됩니다.
- AWS Glue 객체에 start_data_quality_rule_recommendation_run 속성이 없습니다.
문제에 해당하는 다음 작업을 수행하십시오.
키 맵이 데이터 프레임에 적합하지 않음
DatasetMatch 규칙을 실행할 때 다음과 같은 오류 메시지가 표시됩니다.
‘Provided Key Map Not Suitable for Given DataFrames’
이 문제를 해결하려면 다음 작업을 수행하십시오.
- 조인 키가 주 데이터세트와 참조 데이터세트 모두에서 고유한지 확인합니다. 조인 키는 중복 항목이 포함되지 않은 프라이머리 키여야 합니다.
- 키 열에 NULL 값이 포함되어 있지 않은지 확인합니다.
- (선택 사항) 클린 키 열이 포함된 다른 데이터세트를 사용합니다.
다음 예시 DatasetMatch 규칙에서 example_a 및 example_b에는 NULL이 아닌 고유한 값만 포함되어야 합니다.
Rules = [ DatasetMatch "reference" "example_a,example_b" = 1 ]
설정한 값이 제약 조건 요구 사항을 충족하지 않음
데이터 품질 검사를 실행할 때 다음과 같은 오류 메시지가 표시됩니다.
‘Value does not meet constraint requirement’
이 문제를 해결하려면 다음 작업을 수행하십시오.
- 규칙 구성을 검토하고 열 값의 제약 조건이 데이터의 특성과 일치하는지 확인합니다. 예를 들어 데이터의 고유성을 검사하는 경우 열에 중복된 값이 없어야 합니다.
- 검사하는 데이터가 규칙에 지정된 형식을 따르는지 확인합니다.
- 규칙에 지정된 제약 조건을 충족하도록 데이터세트를 정리합니다.
다음 예시 DatasetMatch 규칙에서 example_a에는 NULL이 아닌 고유한 값만 포함되어야 합니다.
Rules = [ DatasetMatch "reference" "example_a,example_a" = 1 ]
열 유효성 검사 규칙에 잘못된 정규식이 있음
ColumnValues 규칙을 사용하여 열 형식을 확인할 때는 다음과 같은 모범 사례를 사용하십시오.
-
데이터 형식과 일치하는 정규식을 사용합니다. 다음 규칙 예시는 yyyy-mm-dd 및 yyyy/mm/dd 두 가지 형식의 날짜와 모두 일치합니다.
Rules = [ ColumnValues "test_date" matches "^(19|20)\d\d[- /.](0[1-9]|1[012])[- /.](0[1-9]|[12][0-9]|3[01])" ]하지만 다음 규칙 예시는 yyyy-mm-dd 형식의 날짜에만 일치합니다.
Rules = [ ColumnValues "test_date" matches "^(19|20)\d\d[-](0[1-9]|1[012])[-](0[1-9]|[12][0-9]|3[01])" ] -
정규식을 적용하기 전에 온라인 도구 또는 Python 라이브러리를 사용하여 샘플 데이터에 대해 정규식을 테스트합니다.
-
정규식이 예상 열 형식과 일치하는지 확인합니다. 패턴에 여러 형식이 포함되도록 패턴을 조정하십시오.
AWS Glue Data Quality 작업이 느리게 수행됨
AWS Glue Data Quality 작업을 실행할 때 성능이 저하되는 경우 다음 작업을 수행하십시오.
- 푸시다운 조건자를 적용하거나 작업 북마크를 사용하여 AWS Glue 작업에서 처리하는 데이터 양을 줄입니다.
- 날짜와 작업이 균등하게 분배되고 AWS Glue 작업에 작업을 완료하는 데 필요한 리소스가 충분한지 확인합니다.
AWS Glue 객체에 'start_data_quality_rule_recommendation_run' 속성이 없음
다음과 같은 오류가 발생합니다.
"AttributeError: 'Glue' object has no attribute "start_data_quality_rule_recommendation_run""
AWS Glue 객체에 start_data_quality_rule_recommendation_run 속성이 없는 경우 작업 파라미터에 다음 키-값 쌍을 추가하십시오.
Key: —additional-python-modules Value: boto3==1.28.26
