내용으로 건너뛰기

Lambda 함수 IteratorAge 지표를 줄이려면 어떻게 해야 합니까?

4분 분량
0

AWS Lambda 함수의 IteratorAge 지표가 증가하는 것을 확인했습니다.

간략한 설명

Lambda 함수의 반복기 수명은 함수를 호출하는 스트림에 기록된 데이터를 함수가 효율적으로 처리할 수 없는 경우 증가합니다. 함수의 IteratorAge 성능 지표를 줄이려면 스트림 처리의 처리량을 늘려야 합니다.

다음 요소는 함수의 IteratorAge 지표에 영향을 줍니다.

데이터 스트림 또는 함수를 재구성하여 구성에 따라 함수의 반복기 수명을 줄입니다.

참고: Amazon DynamoDB 스트림의 경우 Why is the Lambda IteratorAge metric increasing for my Amazon DynamoDB stream?(Amazon DynamoDB 스트림에 대한 Lambda IteratorAge 지표가 증가하는 이유는 무엇입니까?)을 참조하십시오.

해결 방법

함수의 런타임 기간 단축

런타임 기간이 길어지면 함수의 반복기 수명이 늘어납니다. 런타임 기간을 줄이면 함수 처리량이 증가하여 함수의 반복기 수명이 줄어듭니다.

함수의 런타임 기간을 줄이려면 다음 중 하나 또는 모두를 수행합니다.

1. 함수에 할당된 메모리 양을 늘립니다. Lambda는 메모리 크기에 비례하여 CPU 성능을 할당합니다.

2. 함수 코드를 최적화하여 레코드를 더 빠르게 처리합니다.

참고: Lambda 기간 및 성능에 대한 자세한 내용은 Visualize Lambda function invocations using AWS X-Ray(AWS X-Ray를 사용한 Lambda 함수 호출 시각화)를 참조하십시오.

스트림의 배치 크기 늘리기

함수의 런타임 기간이 이벤트 레코드 수와 독립적인 경우 배치 크기를 늘리면 반복기 수명이 줄어듭니다.

함수의 배치 크기를 늘리려면 Lambda를 사용해 Amazon Kinesis Data Streams의 레코드를 처리의 지침을 따르십시오.

참고: 함수의 지속 시간이 이벤트 레코드 수에 따라 달라지는 경우 함수의 배치 크기를 늘려도 반복기 수명은 줄어들지 않습니다. 자세한 내용은 스트림 작업을 참조하십시오.

함수가 호출 오류를 정상적으로 처리하는지 확인

호출 오류가 발생하면 Lambda 함수가 이벤트를 처리하거나 동일한 이벤트를 여러 번 처리하는 데 소요되는 시간이 길어질 수 있습니다. 함수는 이벤트 레코드를 순차적으로 읽으므로 레코드 배치를 재시도할 때마다 오류가 발생하면 이후 레코드로 진행할 수 없습니다. 이 경우 반복기 수명은 레코드 수명에 따라 선형적으로 증가합니다.

함수가 오류를 반환하면 Lambda는 계속해서 배치를 재시도합니다. 배치 재시도는 함수가 배치를 성공적으로 처리하거나, 최대 재시도 횟수에 도달하거나, 데이터가 스트림에서 만료될 때까지 계속됩니다.

함수가 스트림에 기록된 레코드를 정상적으로 처리하는지 확인하십시오. 함수를 개발할 때 코드를 로깅하고 계측하면 오류를 진단하는 데 도움이 될 수 있습니다.

스로틀 발생 관리

함수는 이벤트 레코드를 순차적으로 읽으므로 Lambda가 현재 호출을 제한하면 다음 레코드로 진행할 수 없습니다. 이 경우 Lambda가 제한된 호출을 재시도하면 반복기 수명이 늘어납니다.

Lambda 함수의 스로틀링을 관리하려면 동시성 증가를 요청하십시오.

스트림에 레코드를 균등하게 분배

각 데이터 레코드의 파티션 키는 스트림에서 레코드를 수신할 샤드를 결정합니다. 동일한 파티션 키를 포함하는 레코드의 스트림에 트래픽이 증가하면 샤드가 불균형적인 수의 레코드를 수신하게 됩니다. 이렇게 증가하면 핫 샤드가 발생합니다.

Kinesis Data Streams의 향상된 샤드 수준 지표를 사용하면 각 샤드에 대한 수집 속도를 확인하고 핫 샤드 문제를 해결할 수 있습니다.

자세한 내용은 Under the hood: scaling your Kinesis data streams(내부 작동 방식: Kinesis 데이터 스트림 규모 조정)를 참조하십시오.

스트림의 샤드 개수 늘리기

스트림의 샤드 개가 적으면 함수의 반복기 수명이 늘어납니다. 스트림의 샤드 수가 증가하면 스트림에서 사용하는 동시 Lambda 함수의 수도 늘어납니다. 이렇게 샤드가 증가하면 함수의 반복기 수명은 줄어듭니다.

자세한 내용은 How do I change the number of open shards in Kinesis Data Streams?(Kinesis Data Streams의 공개 샤드 수를 변경하려면 어떻게 해야 합니까?)를 참조하십시오.

참고: 샤드 분할은 함수의 반복기 수명에 즉각적인 영향을 미치지 않습니다. 기존 레코드는 스트림이 원래 기록한 샤드에 남아 있습니다. 이러한 샤드는 샤드의 반복기 수명이 감소하기 전에 백로그를 따라잡아야 합니다. 자세한 내용은 스트림 작업을 참조하십시오.

스트림 처리의 처리량 늘리기

병렬화 인자 설정 테스트

함수의 병렬화 인자를 구성하여 스트림의 각 샤드에 대한 동시 Lambda 호출 수를 늘리도록 스트림 처리를 개선할 수 있습니다. 각 샤드에서 Lambda가 폴링하는 동시 배치 수를 지정합니다.

병렬화 인자가 10으로 설정된 경우 최대 50개의 동시 Lambda 호출을 통해 데이터 샤드 5개를 처리할 수 있습니다.

예를 들어 동시 실행 수 = 샤드 수 x 샤드당 동시 배치 수입니다.

자세한 내용은 Using AWS Lambda with Amazon Kinesis(Amazon Kinesis에서 AWS Lambda 사용) 및 New AWS Lambda scaling controls for Kinesis and Amazon DynamoDB event sources(Kinesis 및 Amazon DynamoDB 이벤트 소스의 새로운 AWS Lambda 규모 조정 제어)를 참조하십시오.

향상된 팬아웃 사용

향상된 팬아웃과 데이터 스트림 소비자를 만들어 지연 시간을 줄이고 읽기 처리량을 늘립니다. 스트림 소비자는 스트림에서 읽는 다른 애플리케이션에 영향을 주지 않는 각 샤드에 대한 전용 연결을 받습니다.

자세한 내용은 Lambda를 사용해 Amazon Kinesis Data Streams의 레코드를 처리를 참조하십시오.

관련 정보

리샤딩, 규모 조정, 병렬 처리를 사용하여 샤드 수 변경

AWS 공식업데이트됨 7달 전