Comment optimiser les tâches d'inférence par lots dans Amazon Bedrock ?

Résolution

Les délais d'exécution des tâches par lots dépendent de la capacité disponible, des tâches simultanées dans la file d'attente et de l'allocation de ressources spécifique au modèle. Utilisez les méthodes de résolution suivantes pour optimiser vos tâches d'inférence par lots dans Amazon Bedrock.

Fournir des instructions de saisie simples et complètes

Pour réduire le temps nécessaire au traitement de la tâche et améliorer la qualité des résultats, créez des invites claires et concises qui n'incluent pas de contexte inutile.

Ne pas dépasser les quotas de service

Si vous exécutez plusieurs tâches d'inférence par lots en parallèle, assurez-vous qu'elles ne dépassent pas les quotas de service qui varient selon le modèle et la région AWS.

Pour plus d'informations sur les projets de grand envergure, consultez la section Automatiser l'inférence par lots Amazon Bedrock : Création d'un pipeline évolutif et efficace.

Planifier les tâches pour les exécuter en dehors des heures de pointe

Utilisez Amazon EventBridge pour planifier des tâches d'inférence par lots pendant les heures creuses, lorsque la disponibilité des ressources peut être plus élevée.

Utiliser l'inférence interrégionale

Utilisez des profils d'inférence interrégionaux dans les requêtes d'API CreateModelInvocationJob pour répartir les charges de travail entre les régions.