Como adiciono tags de alocação de custos ao invocar modelos sob demanda do Amazon Bedrock?

Resolução

Atribua tags a um perfil de inferência da aplicação e, em seguida, vincule o perfil ao modelo sob demanda.

Observação: não é possível atribuir tags a modelos sob demanda.

Criar um perfil de inferência de aplicação

Use o CreateInferenceProfile. O exemplo a seguir cria um perfil de inferência de aplicação vinculado a amazon.nova-pro-v1:0 com a tag “key”: “CostAllocateTag”,“value”: “project123”.

Exemplo:

aws bedrock create-inference-profile --region 'us-east-1' \
    --inference-profile-name 'profile-project123' \
    --description 'profile-project123' \
    --model-source '{"copyFrom": "arn:aws:bedrock:us-east-1::foundation-model/amazon.nova-pro-v1:0"}' \
    --tags '[{"key": "CostAllocateTag","value": "project123"}]'

Exemplo de saída:

{
    "inferenceProfileArn": "arn:aws:bedrock:us-east-1:AccountId:application-inference-profile/y1pcpudi2mb7",
    "status": "ACTIVE"
}

Ativar uma tag de alocação de custos

Para ativar uma tag de alocação de custos, use o console do Gerenciamento de Faturamento e Custos da AWS.

Observação: as tags aparecem em 24 horas na página de tags de alocação de custos.

Invocar o modelo

Para invocar o modelo, use o perfil de inferência de aplicação. Em ID do modelo, especifique o ARN do perfil de inferência de aplicação em vez do ID do modelo sob demanda.

Exemplo:

aws bedrock-runtime converse --region 'us-east-1' \
    --model-id 'arn:aws:bedrock:us-east-1:AccountId:application-inference-profile/y1pcpudi2mb7' \
    --messages '[{"role": "user", "content": [{"text": "Hello"}]}]'

Exemplo de saída:

{
    "output": {
        "message": {
            "role": "assistant",
            "content": [
                {
                    "text": "Hello! It's nice to have you here. I'm here to help with whatever you might need. Whether you have a question, need assistance with a topic, or just want to chat, feel free to ask. What can I assist you with today?"
                }
            ]
        }
    },
    "stopReason": "end_turn",
    "usage": {
        "inputTokens": 1,
        "outputTokens": 54,
        "totalTokens": 55
    },
    "metrics": {
        "latencyMs": 889
    }
}