Amazon Bedrock에서 검증 예외를 해결하려면 어떻게 해야 합니까?

2분 분량

파운데이션 모델의 추론 파라미터에 대한 검증 예외 문제를 해결하고 싶습니다.

간략한 설명

추론 파라미터를 사용하면 Amazon Bedrock이 제공하는 대규모 언어 모델의 동작을 조정하여 기대하는 결과를 얻을 수 있습니다. 잘못된 추론 파라미터 또는 이에 해당하는 값을 사용하여 파운데이션 모델에서 InvokeModel 또는 InvokeModelWithResponseStream API를 실행하면 검증 오류가 발생합니다. 이러한 오류는 한 모델에 대한 추론 파라미터를 같은 API 매개변수가 없는 모델에 사용할 때도 발생합니다.

해결 방법

Anthropic Claude 3 모델에 대한 잘못된 추론 파라미터 이름

Anthropic Claude 3 모델에 top_n 파라미터를 포함하면 검증 예외 오류가 발생합니다. 이 모델에 대한 잘못된 추론 파라미터 이름:

오류: "ValidationException: InvokeModel 작업을 호출하는 동안 오류(ValidationException) 발생:
잘못된 형식의 입력 요청: #: 제목이 스키마 {"required":["messages"]}#에 대해 유효하지 않음:
관련 없는 키 [top_n]은 허용되지 않습니다. 입력의 형식을 수정하고 다시 시도하십시오."

추론 파라미터가 잘못된 예제 코드:


        # Invoke Claude 3 with the text prompt
        model_id = "anthropic.claude-3-sonnet-20240229-v1:0"
        try:
            response = client.invoke_model(
                modelId=model_id,
                body=json.dumps(
                    {
                        "anthropic_version": "bedrock-2023-05-31",
                        "max_tokens": 1024,
                        "top_n": 1 ,
                        "messages": [
                            {
                                "role": "user",
                                "content": [{"type": "text", "text":<prompt>}],
                            }]}))

이 오류를 방지하려면 다음과 같은 유효한 추론 파라미터 중에서 선택하십시오.

max_tokens: 중지하기 전에 생성할 최대 토큰 수
temperature: 응답에 주입된 무작위성의 양
top_p: 모델이 다음 토큰에 고려할 가능성이 가장 높은 후보의 비율을 설정하여 생성하는 텍스트의 다양성.
top_k: 모델이 다음 토큰에 고려할 가능성이 가장 높은 후보의 수.
stop_sequences: 모델의 응답 생성을 중단시키는 사용자 지정 텍스트 시퀀스.
prompt: 컨텍스트와 지침을 제공하는 시스템 프롬프트.

자세한 내용은 Anthropic Claude 메시지 API를 참조하십시오.

mistral-7b 모델에 대한 잘못된 temperature 추론 값

mistral-7b 모델이 temperature 추론 파라미터에 잘못된 값을 받으면 다음과 같은 검증 예외 오류가 발생합니다.

오류: "ValidationException: InvokeModel 작업을 호출하는 동안 오류(ValidationException) 발생:
잘못된 형식의 입력 요청: #/temperature: 2.0은 1.0보다 작거나 같지 않습니다. 입력 형식을 다시 지정하고
다시 시도하십시오."

파라미터 값이 잘못된 예제 코드:

# Invoke minstral-7b with the text prompt
model_id = "mistral.mistral-7b-instruct-v0:2"
body = {
    "prompt": <prompt>,
    "max_tokens": 200,
    "temperature": 2.0
}
response = client.invoke_model(modelId=model_id, body=json.dumps(body))

temperature 추론 파라미터는 모델에서 수행하는 예측의 무작위성을 제어합니다. 범위는 0~1입니다. temperature 값 2.0은 이 범위에 속하지 않으므로 오류가 발생합니다. 자세한 내용은 Mistral AI 모델을 참조하십시오.