AWS Glue 스트리밍 작업 문제를 해결하려면 어떻게 해야 합니까?

해결 방법

Amazon CloudWatch를 사용하여 AWS Glue 스트리밍 작업 지표를 모니터링합니다. 그런 다음, 실패한 스트리밍 작업의 로그에서 오류 메시지, 경고 또는 타임스탬프를 확인합니다. 자세한 내용은 AWS Glue 문제 해결 정보 수집을 참조하십시오.

작업의 데이터 소스 및 싱크에 액세스할 수 있고 올바르게 구성되어 있는지 확인합니다. 자세한 내용은 Apache Spark 웹사이트에서 입력 소스 및 출력 싱크를 참조하십시오. 

AWS Glue 스키마 레지스트리를 사용하여 데이터 스트림 스키마를 검색, 제어 및 개선합니다. 입력 데이터 스키마가 스트리밍 작업의 예상 스키마와 일치하는지 확인하십시오.

스트리밍 작업을 배포하기 전에 AWS Glue Docker 이미지 또는 AWS Glue ETL 라이브러리를 사용하여 로컬로 개발 및 테스트하십시오.

관련 정보

AWS Glue 스트리밍 작업을 최적화하려면 어떻게 해야 합니까?

AWS Glue 문제 해결

Kinesis 연결

Kafka 연결

Docker 이미지를 사용한 개발