Amazon Bedrock에서 배치 추론 작업을 최적화하려면 어떻게 해야 합니까?

해결 방법

배치 작업 실행 시간은 사용 가능한 용량, 대기열에 있는 동시 작업, 모델별 리소스 할당에 따라 달라집니다. 다음 해결 방법을 사용하여 Amazon Bedrock에서 배치 추론 작업을 최적화하십시오.

간단하고 완전한 입력 프롬프트 제공

작업 처리 시간을 줄이고 결과의 품질을 개선하려면 불필요한 컨텍스트를 포함하지 않는 명확하고 간결한 프롬프트를 만드십시오.

서비스 할당량을 초과하지 않음

여러 배치 추론 작업을 병렬로 실행하는 경우 모델 및 AWS 리전에 따라 달라지는 서비스 할당량을 초과하지 않도록 해야 합니다.

대규모 프로젝트에 대한 자세한 내용은 Amazon Bedrock 배치 추론 자동화: 확장 가능하고 효율적인 파이프라인 구축을 참조하십시오.

사용량이 적은 시간에 작업을 실행하도록 예약

Amazon EventBridge를 사용하여 리소스 가용성이 더 높을 수 있는 사용량이 적은 시간에 배치 추론 작업을 예약할 수 있습니다.

교차 리전 추론 사용

CreateModelInvocationJob API 요청에서 교차 리전 추론 프로파일을 사용하여 여러 리전에 워크로드를 분산할 수 있습니다.