AWS DMS 오류 “마지막 오류 복제 작업의 메모리가 부족합니다. 중지 이유 FATAL_ERROR 오류 수준 치명적” 문제 해결

3분 분량

AWS Database Migration Services(AWS DMS)를 사용할 때 “마지막 오류 복제 작업의 메모리가 부족합니다. 중지 이유 FATAL_ERROR 오류 수준 치명적”이라는 오류 메시지가 나타납니다.

간략한 설명

AWS DMS를 사용할 때 다음과 같은 오류 메시지가 나타납니다. “마지막 오류 복제 작업의 메모리가 부족합니다. 중지 이유 FATAL_ERROR 오류 수준 치명적”. 오류의 근본 원인을 찾으려면 AWS DMS 작업 로그를 검토합니다. 위 오류의 경우 로그에는 “메모리가 부족하여 'XXXXXXX'에 대한 작업 프로세스가 실패했습니다”라는 정보가 제공됩니다.

이 오류를 해결하려면 다음 단계 중 하나 이상을 완료합니다.

작업 설정 또는 메모리 관련 파라미터를 변경합니다.
FreeMemory 및 SwapUsage 같은 복제 인스턴스에 대한 Amazon CloudWatch 지표의 변동에 따라 복제 인스턴스 클래스를 확장합니다.
마이그레이션되는 데이터의 크기와 작업에 필요한 메모리 양에 따라 단일 작업을 여러 작업으로 분할합니다.

해결 방법

참고: 수정하기 전에 작업을 중지해야 합니다. 수정한 후에는 작업을 다시 시작해야 합니다. 전체 로드 단계에서 작업이 중지되면 인플라이트 테이블이 처음부터 다시 로드됩니다.

작업 설정 또는 메모리 관련 파라미터 변경

더 높은 메모리 용량을 필요로 하는 작업 설정이나 메모리 관련 파라미터를 조정할 수 있는지 확인합니다. 다음은 확인해야 할 가장 일반적인 작업 설정 및 파라미터입니다.

LOB 설정
검증 파라미터(예: ThreadCount 및 PartitionSize)
병렬 스레드 파라미터(예: ParallelLoadThreads, ParallelLoadBufferSize, ParallelLoadQueuesPerThread, ParallelApplyThreads, ParallelApplyBufferSize, 및 ParallelApplyQueuesPerThread).
일괄 적용 파라미터(예: BatchApplyTimeoutMin, BatchApplyTimeoutMax, BatchApplyMemoryLimit, 및 BatchSplitSize).
기타 메모리 관련 작업 설정(예: MinTransactionSize, MemoryLimitTotal, MemoryKeepTime, 및 StatementCacheSize).

이전 작업 설정 및 파라미터에 대한 자세한 내용은 AWS DMS가 마이그레이션에 메모리를 어떻게 사용합니까?를 참조하세요.

Amazon CloudWatch 지표의 변동에 따라 복제 인스턴스 클래스를 확장합니다.

복제 인스턴스의 FreeMemory 및 SwapUsage 지표를 확인합니다. FreeMemory가 감소하거나SwapUsage가 증가하거나 변동하는 경우 더 큰 복제 인스턴스로 이동하는 것을 고려해 보십시오.

또한 메모리에 최적화된 인스턴스를 사용하는 것도 고려해 보십시오. 메모리 최적화 인스턴스는 지속적인 마이그레이션 및 처리량이 많은 트랜잭션의 복제와 같이 메모리를 많이 사용하는 워크로드에 적합합니다. 복제 인스턴스 크기 및 유형에 대한 자세한 내용은 마이그레이션에 적합한 AWS DMS 복제 인스턴스 선택을 참조하세요.

마이그레이션되는 데이터의 크기와 작업에 필요한 메모리 양에 따라 단일 작업을 여러 작업으로 나눕니다.

복제 인스턴스에 여러 작업이 있는 경우 DMS MemoryUsage 지표를 사용하여 작업이 소비하는 메모리 양을 관찰할 수 있습니다. CDC 단계에서 태스크가 메모리를 차지하고 있는 이유를 확인하려면 CDCChangesMemorySource와 CDCChangesMemoryTarget을 비교한 다음 해당 엔드포인트 문제를 해결합니다.

복제 인스턴스에서 여러 작업이 실행 중인 경우 다음 작업 중 하나 이상을 수행합니다.

복제 인스턴스에서 실행 중인 작업의 수와 유형을 줄이십시오.
실패한 작업을 다른 복제 인스턴스로 이동한 다음 다시 시도합니다.
인스턴스 용량을 늘립니다.

여러 테이블이 동시에 로드되거나 여러 테이블 및 스키마가 마이그레이션되는 작업의 경우 다음 작업 중 하나 이상을 수행합니다.

병렬로 로드되는 테이블 수를 줄이십시오.
마이그레이션되는 전체 테이블 및 스키마 수를 줄입니다.
다른 복제 인스턴스에서 다른 작업을 사용하여 일부 테이블 및 스키마의 마이그레이션을 오프로드할 수 있습니다.
인스턴스 용량을 늘립니다.