Come posso controllare il numero di token quando invoco un modello in Amazon Bedrock?

Risoluzione

Nota: se ricevi errori quando esegui i comandi dell'Interfaccia della linea di comando AWS (AWS CLI), consulta Risoluzione degli errori per AWS CLI. Inoltre, assicurati di utilizzare la versione più recente di AWS CLI.

Per controllare il numero di token, utilizza uno dei seguenti metodi.

Utilizza un playground di Amazon Bedrock

Per controllare i token di input e output quando invochi il modello utilizzando un playground, consulta Generare risposte nella console utilizzando i playground.

Controlla i log di invocazione del modello

Prerequisito: devi creare una destinazione a cui inviare i log. Puoi utilizzare Amazon Simple Storage Service (Amazon S3) per configurare un bucket S3 o Amazon CloudWatch Logs per configurare un gruppo di log. Se utilizzi un bucket S3, aggiungi una policy di bucket al bucket che includa l'istruzione di policy del passaggio 2 in Configurazione di una destinazione Amazon S3. Se utilizzi un gruppo di log, crea un ruolo AWS Identity and Access Management (AWS IAM) che includa la relazione di attendibilità e l'istruzione di policy del passaggio 2 in Configura una destinazione per i log CloudWatch.

Per accedere ai log, completa i seguenti passaggi:

1. Utilizza la console CloudWatch o l'API per attivare la registrazione per tutte le invocazioni del modello.
2. Nei log, visualizza il numero di inputTokens e outputTokens per ogni invocazione del modello.

Esempio di log:

{
    "schemaType": "ModelInvocationLog",
    "schemaVersion": "1.0",
    "timestamp": "2025-03-31T21:34:03Z",
    "accountId": "123456789",
    "identity": {
        "arn": "arn:aws:sts::123456789:role/MyRole"
    },
    "region": "us-east-1",
    "requestId": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxx",
    "operation": "ConverseStream",
    "modelId": "amazon.nova-pro-v1:0",
    "input": {
        "inputContentType": "application/json",
        "inputBodyJson": {
            "messages": [
                {
                    "role": "user",
                    "content": [
                        {
                            "text": "Good morning."
                        }
                    ]
                }
            ],
            "inferenceConfig": {
                "maxTokens": 512,
                "temperature": 0.7,
                "topP": 0.9,
                "stopSequences": []
            },
            "additionalModelRequestFields": {}
        },
        "inputTokenCount": 3,
        "cacheReadInputTokenCount": 0,
        "cacheWriteInputTokenCount": 0
    },
    "output": {
        "outputContentType": "application/json",
        "outputBodyJson": {
            "output": {
                "message": {
                    "role": "assistant",
                    "content": [
                        {
                            "text": "Good morning! How can I assist you today? Whether you have questions, need information, or just want to chat, feel free to ask."
                        }
                    ]
                }
            },
            "stopReason": "end_turn",
            "metrics": {
                "latencyMs": 454
            },
            "usage": {
                "inputTokens": 3,
                "outputTokens": 29,
                "totalTokens": 32
            }
        },
        "outputTokenCount": 29
    }
}

Controlla la risposta dell'operazione Converse

Utilizza AWS CLI per ottenere una risposta dall'operazione API Converse.

Esegui questo comando bedrock-runtime con il comando converse:

aws bedrock-runtime converse \
    --region your-region\
    --model-id amazon.nova-pro-v1:0 \
    --messages '{"role": "user", "content": [{"text": "Hello"}]}'

Nota: il comando precedente ottiene il numero di token per il modello amazon.nova-pro-v1:0. Sostituisci your-region con la tua Regione AWS, model-id con l'ID del tuo modello e text con il tuo messaggio.

Esempio di risposta:

{
    "output": {
        "message": {
            "role": "assistant",
            "content": [
                {
                    "text": "Hello! It's nice to have you here. I'm here to help with whatever you might need. Whether you have a question, need assistance with a topic, or just want to chat, feel free to ask. What can I assist you with today?"
                }
            ]
        }
    },
    "stopReason": "end_turn",
    "usage": {
        "inputTokens": 1,
        "outputTokens": 54,
        "totalTokens": 55
    },
    "metrics": {
        "latencyMs": 852
    }
}