¿Cómo agrego etiquetas de asignación de costes cuando invoco los modelos bajo demanda de Amazon Bedrock?

Resolución

Asigne etiquetas a un perfil de inferencia de aplicaciones y, a continuación, vincule el perfil al modelo bajo demanda.

Nota: No puede asignar etiquetas a los modelos bajo demanda.

Creación de un perfil de inferencia de aplicaciones

Utilice CreateInferenceProfile. En el siguiente ejemplo se crea un perfil de inferencia de aplicaciones que está vinculado a amazon.nova-pro-v1:0 con la etiqueta "key": "CostAllocateTag","value": "project123".

Ejemplo:

aws bedrock create-inference-profile --region 'us-east-1' \
    --inference-profile-name 'profile-project123' \
    --description 'profile-project123' \
    --model-source '{"copyFrom": "arn:aws:bedrock:us-east-1::foundation-model/amazon.nova-pro-v1:0"}' \
    --tags '[{"key": "CostAllocateTag","value": "project123"}]'

Resultado de ejemplo:

{
    "inferenceProfileArn": "arn:aws:bedrock:us-east-1:AccountId:application-inference-profile/y1pcpudi2mb7",
    "status": "ACTIVE"
}

Activación de una etiqueta de asignación de costes

Para activar una etiqueta de asignación de costes, utilice la consola de administración de facturación y costes de AWS.

Nota: Las etiquetas aparecen en un plazo de 24 horas en la página de etiquetas de asignación de costes.

Invocación del modelo

Para invocar el modelo, utilice el perfil de inferencia de la aplicación. Para el ID del modelo, especifique el ARN del perfil de inferencia de la aplicación en lugar del ID del modelo bajo demanda.

Ejemplo:

aws bedrock-runtime converse --region 'us-east-1' \
    --model-id 'arn:aws:bedrock:us-east-1:AccountId:application-inference-profile/y1pcpudi2mb7' \
    --messages '[{"role": "user", "content": [{"text": "Hello"}]}]'

Resultado de ejemplo:

{
    "output": {
        "message": {
            "role": "assistant",
            "content": [
                {
                    "text": "Hello! It's nice to have you here. I'm here to help with whatever you might need. Whether you have a question, need assistance with a topic, or just want to chat, feel free to ask. What can I assist you with today?"
                }
            ]
        }
    },
    "stopReason": "end_turn",
    "usage": {
        "inputTokens": 1,
        "outputTokens": 54,
        "totalTokens": 55
    },
    "metrics": {
        "latencyMs": 889
    }
}