Come posso aggiungere tag di allocazione dei costi quando invoco modelli on demand di Amazon Bedrock?

Risoluzione

Assegna tag a un profilo di inferenza dell'applicazione, quindi collega il profilo al modello on demand.

Nota: non puoi assegnare tag a modelli on demand.

Crea un profilo di inferenza dell'applicazione

Utilizza CreateInferenceProfile. L'esempio seguente crea un profilo di inferenza dell'applicazione collegato a amazon.nova-pro-v1:0 1:0 con il tag "key": "CostAllocateTag","value": "project123".

Esempio:

aws bedrock create-inference-profile --region 'us-east-1' \
    --inference-profile-name 'profile-project123' \
    --description 'profile-project123' \
    --model-source '{"copyFrom": "arn:aws:bedrock:us-east-1::foundation-model/amazon.nova-pro-v1:0"}' \
    --tags '[{"key": "CostAllocateTag","value": "project123"}]'

Esempio di output:

{
    "inferenceProfileArn": "arn:aws:bedrock:us-east-1:AccountId:application-inference-profile/y1pcpudi2mb7",
    "status": "ACTIVE"
}

Attiva un tag di allocazione dei costi

Per attivare un tag di allocazione dei costi, utilizza la console Gestione costi e fatturazione AWS.

Nota: i tag vengono visualizzati entro 24 ore nella pagina dei tag di allocazione dei costi.

Invoca il modello

Per invocare il modello, utilizza il profilo di inferenza dell'applicazione. Per l'ID del modello, specifica l'ARN del profilo di inferenza dell'applicazione anziché l'ID del modello on demand.

Esempio:

aws bedrock-runtime converse --region 'us-east-1' \
    --model-id 'arn:aws:bedrock:us-east-1:AccountId:application-inference-profile/y1pcpudi2mb7' \
    --messages '[{"role": "user", "content": [{"text": "Hello"}]}]'

Esempio di output:

{
    "output": {
        "message": {
            "role": "assistant",
            "content": [
                {
                    "text": "Hello! It's nice to have you here. I'm here to help with whatever you might need. Whether you have a question, need assistance with a topic, or just want to chat, feel free to ask. What can I assist you with today?"
                }
            ]
        }
    },
    "stopReason": "end_turn",
    "usage": {
        "inputTokens": 1,
        "outputTokens": 54,
        "totalTokens": 55
    },
    "metrics": {
        "latencyMs": 889
    }
}