Come posso ottimizzare i processi di inferenza in batch in Amazon Bedrock?

Risoluzione

I tempi di esecuzione dei processi in batch dipendono dalla capacità disponibile, dai processi concorrenti in coda e dall'allocazione delle risorse specifica del modello. Utilizza i seguenti metodi di risoluzione per ottimizzare i processi di inferenza in batch in Amazon Bedrock.

Fornisci prompt di input semplici e completi

Per ridurre i tempi di elaborazione di un processo e migliorare la qualità dei risultati, crea prompt chiari e concisi che non includano contesto non necessario.

Non superare le quote di servizio

Se esegui più processi di inferenza in batch in parallelo, assicurati che non superino le quote di servizio che variano in base al modello e alla Regione AWS.

Per ulteriori informazioni sui progetti su larga scala, consulta Automate Amazon Bedrock batch inference: Building a scalable and efficient pipeline (Automatizzazione dell'inferenza in batch in Amazon Bedrock: creazione di una pipeline scalabile ed efficiente).

Pianifica i processi in modo che vengano eseguiti al di fuori degli orari di picco

Utilizza Amazon EventBridge per pianificare i processi di inferenza in batch al di fuori degli orari di picco, quando la disponibilità delle risorse potrebbe essere maggiore.

Utilizza l'inferenza multi-Regione

Utilizza i profili di inferenza multi-Regione nelle richieste API CreateModelInvocationJob per distribuire i carichi di lavoro tra le Regioni.