Amazon Bedrock에서 모델을 미세 조정할 때 오류를 해결하려면 어떻게 해야 합니까?

해결 방법

참고: AWS Command Line Interface(AWS CLI) 명령을 실행할 때 오류가 발생하면 AWS CLI의 오류 해결을 참조하십시오. 또한 최신 AWS CLI 버전을 사용하고 있는지 확인하십시오.

액세스 및 가용성 문제

전제 조건: 기본 모델에 대한 액세스를 요청합니다.

Amazon Bedrock은 특정 AWS 리전 및 기초 모델에서 미세 조정을 지원합니다. 미세 조정 기능이 있는 모델에 지원되는 AWS 리전을 사용해야 합니다. 해당 리전이 모델을 지원하지 않는 경우 Amazon Bedrock 모델 선택기가 계속 로드됩니다. 미세 조정 작업을 만들 수 없는 경우 다음과 같은 오류 메시지가 표시될 수 있습니다.

"Unable to Create a fine-tuning job(‘The provided model identifier is invalid’ 오류)"

액세스 오류를 해결하려면 원하는 AWS 리전에서 모델 및 미세 조정 기능이 지원되는지 확인하십시오.

빈 화면이 표시되거나 모델을 선택할 수 없는 경우 해당 리전에서 모델을 사용할 수 없거나 AWS 계정에서 모델에 액세스할 수 없는 것입니다. 문제를 해결하려면 다양한 네트워크와 브라우저에서 모델을 선택하십시오. 모델을 선택할 때 HAR 파일을 캡처합니다. 그 후 VPN, 방화벽 또는 가상 데스크톱 인프라(VDI)에 대한 제한이 없는지 확인합니다. 여전히 Amazon Bedrock 콘솔에 액세스할 수 없는 경우 네트워크 관리자에게 문의하십시오.

IAM 권한 문제

Amazon Simple Storage Service(Amazon S3) 버킷에 액세스하여 모델을 사용자 지정하려면 AWS Identity and Access Management(IAM) 역할에 올바른 권한을 연결해야 합니다. IAM 역할의 권한을 올바르게 구성하지 않은 경우 다음과 같은 오류 메시지가 표시됩니다.

"Encountered an unexpected error when processing the request, please try again","AccessDenied"."

이 오류를 해결하려면 Amazon Bedrock에 모델 사용자 지정을 위한 IAM 권한을 부여하십시오.

교차 리전 액세스 오류

미세 조정 작업은 작업이 실행되는 동일한 리전의 Amazon S3 데이터에만 액세스할 수 있습니다. 미세 조정 작업과 다른 리전에 있는 S3 버킷에 저장된 훈련 데이터에 액세스하려고 하면 다음과 같은 오류 메시지가 표시됩니다.

"Could not validate GetObject permissions to access S3 bucket"

이 오류를 해결하려면 S3 버킷과 Amazon Bedrock 미세 조정 작업이 모두 동일한 리전에 있는지 확인하십시오. 그런 다음, 훈련 데이터를 Amazon Bedrock과 동일한 리전의 S3 버킷으로 이동합니다.

데이터 형식 및 검증 오류

데이터세트는 훈련 및 검증 모델 요구 사항을 충족해야 합니다. 잘못된 JSON 구조 또는 형식의 훈련 데이터세트를 제출하면 다음 오류 중 하나가 발생할 수 있습니다.

"The provided S3 URI is invalid", ";validation error detected: Value 's3://..' failed to satisfy constraint:" Member must satisfy regular expression pattern.."

"Invalid training input data configuration. Check the input data S3 Uris(Uri should be a file, not a directory) and retry request"

문제를 해결하려면 파일 URI(Uniform Resource Identifier)를 사용하고 디렉터리 URI를 사용하지 않는지 확인하십시오.

URL 예: s3://bucket-name/datasets/train/train.jsonl

디렉터리 URL 예: s3://bucket-name/datasets/train/

그런 다음, 경로가 정확한 파일 위치를 가리키는지 확인합니다. 경로가 정확한 파일 위치를 가리키지 않는 경우 S3 버킷의 전체 경로 구조를 확인하십시오. 훈련 데이터를 저장하는 정확한 위치 및 파일 이름과 일치하도록 파일 URI를 업데이트하십시오.

데이터세트 구조 검증

텍스트 모델마다 데이터 요구 사항과 예상 JSON 스키마가 다릅니다. 잘못된 JSON 구조 또는 형식의 훈련 데이터세트를 제출하면 다음과 같은 오류가 발생할 수 있습니다.

"JSON structure is not supported: JSON schema error: JSON does not match JSON schema at line."

이 오류를 해결하려면 텍스트-텍스트 모델을 미세 조정하기 위한 데이터를 준비하십시오.

이미지 미세 조정 문제

Amazon Bedrock은 지정된 차원의 이미지 파일에 액세스할 수 있어야 합니다. 미세 조정 중인 모델의 특정 차원 요구 사항을 충족하지 않는 이미지를 업로드하면 다음과 같은 오류가 발생할 수 있습니다.

"Image Dimensions are Invalid. Check that the images conform to accepted dimensions."

이미지 크기가 특정 모델의 요구 사항을 충족하는지 확인합니다. 그런 다음, 특정 모델에 대한 이미지 데이터세트를 준비했는지 확인합니다.

참고: 일부 모델은 텍스트 미세 조정만 지원하고 이미지 미세 조정은 지원하지 않습니다.

검증 오류

파일은 모델과 호환되어야 합니다. 모델의 형식 지정 요구 사항을 충족하지 않거나 구조적 문제가 있는 훈련 데이터를 제출하면 다음과 같은 오류가 발생할 수 있습니다.

"Validation error: failed during preprocessing"

이 오류를 해결하려면 데이터 형식을 확인하십시오.

• JSONL 파일에 한 줄에 하나의 유효한 JSON 객체가 있는지 확인합니다.
• 각 예제에 필수 필드를 포함했는지 확인합니다.
• 예제가 모델의 최대 토큰 할당량을 초과하지 않는지 확인합니다.
• 파일이 특수 문자 문제 없이 UTF-8 인코딩을 사용하는지 확인합니다.

작업 상태 모니터링

Amazon Bedrock 콘솔 또는 AWS CLI를 사용하여 작업 상태를 모니터링할 수 있습니다. Amazon Bedrock에서는 실시간 진행 상황 모니터링을 사용할 수 없습니다.

콘솔을 사용하려면 모델 사용자 지정 작업 모니터링을 참조하십시오.

AWS CLI를 사용하려면 다음 get-model-customization-job 명령을 실행합니다.

aws bedrock get-model-customization-job -job-identifier "jobARN"

참고: jobARN을 작업의 Amazon 리소스 이름(ARN)으로 바꾸십시오.

그러면 모델의 실제 완료 시간을 기준으로 각 작업을 완료하는 데 걸리는 시간을 벤치마크로 추정할 수 있습니다. 추정할 때는 다음 요소를 고려하십시오.

• 미세 조정 기간은 데이터 크기, 에포크 수, 배치 크기에 따라 달라집니다.
• 초기 오류는 처음 몇 분 내에 발생합니다.
• 대규모 데이터세트의 경우 미세 조정을 완료하는 데 몇 시간이 걸릴 수 있습니다.
• 훈련 시간은 구성 및 트래픽에 따라 3~4시간에서 최대 24시간까지 지속됩니다.

작업이 실패한 경우 모델 사용자 지정 문제 해결을 참조하십시오.

작업이 24시간 이상 훈련 중 상태에 있는 경우 AWS Support에 문의하십시오.

미세 조정 모델의 추론

사용자 지정 미세 조정 모델의 경우 Amazon Nova 이외의 모델에 대해 프로비저닝된 처리량을 구매하여 원래 모델 ARN 대신 사용되는 별도의 프로비저닝된 모델 ARN을 만들어야 합니다.

API 호출에서 원래 모델 ARN을 직접 사용하려고 하면 다음 오류가 발생할 수 있습니다.

"An error occurred (ValidationException) when calling the xxxx operation: 1 validation error detected: Value 'arn:aws:bedrock:xxxxx' at 'modelId' failed to satisfy constraint: Member must satisfy regular expression pattern: ..."

이 오류를 해결하려면 다음 단계를 완료하십시오.

1. 미세 조정된 모델에 대한 프로비저닝된 처리량을 만듭니다.
2. 응답의 프로비저닝된 모델 ARN을 기록해 둡니다.
3. API를 통해 미세 조정 모델을 호출할 때는 사용자 지정 모델에 고유한 다음 모델 ARN 형식을 사용합니다.
   arn:aws:bedrock:[region]:[account]:provisioned-model/[name]
   참고: region을 해당 리전으로, account를 계정 정보로, name을 모델 이름으로 바꾸십시오.
4. 프로비저닝된 모델이 InService 상태인지 확인한 후 GetProvisionedModelThroughput API 호출을 사용합니다.

관련 정보

사용자 지정 모델의 추론 설정

모델을 사용자 지정하여 사용 사례에 맞게 성능 개선