Comment puis-je optimiser les invites pour obtenir des réponses déterministes sur Amazon Bedrock ?

Résolution

Si vos invites Amazon Bedrock ne fonctionnent pas correctement ou si vous souhaitez obtenir de meilleures réponses déterministes, utilisez les solutions suivantes.

Sélectionnez le modèle de fondation approprié

Amazon Bedrock donne accès à plusieurs modèles de fondation pré-entraînés (FM), tels qu'Amazon Titan, Anthropic Claude et Mistral.

Pour trouver le FM adapté à votre cas d'utilisation, effectuez les actions suivantes :

• Ajustez les paramètres d'inférence du modèle, tels que température et top-p, afin de réduire le caractère aléatoire du texte généré.
• Testez différents modèles. Pour effectuer un test de base, utilisez la fonctionnalité Mode de comparaison sur le terrain de jeu Chat de la console Amazon Bedrock.
• Utilisez différents modèles, puis comparez la cohérence des réponses sur plusieurs exécutions de la même invite.
• Choisissez le modèle dont le comportement est le plus déterministe pour votre cas d'utilisation.

Utilisez des tâches d'évaluation de modèles

Pour effectuer un test avancé, utilisez des tâches d'évaluation de modèles. Pour identifier les problèmes ou les écarts potentiels dans les données de formation, utilisez une évaluation automatique du modèle. Pour vérifier la cohérence de sortie des données d'entrée, utilisez une tâche d'évaluation de modèles qui fait appel à des environnements de travail humains.

Créez des invites claires et spécifiques

Pour créer des invites claires et spécifiques qui génèrent la réponse appropriée, effectuez les actions suivantes :

• Rédigez l'invite de différentes manières. Par exemple, modifiez la structure, les mots-clés ou le format pour obtenir des réponses plus cohérentes du modèle.
• Utilisez des invites qui limitent la capacité du modèle à générer des sorties ouvertes ou divergentes.
• Ajustez les paramètres d'inférence du FM pour vérifier les variations des sorties pour chaque invite.

Exemple d'invite efficace :

 ``` You are a professional proofreader. Please review the following text for any grammatical errors, spelling mistakes, or inconsistencies, and provide corrections:   

[Insert text to be proofread] ```

L'invite précédente définit clairement le rôle du modèle et fournit des instructions spécifiques. Cela limite également la portée de la réponse, ce qui augmente les chances d'obtenir des résultats déterministes et pertinents.

Personnalisez votre FM

Si les FM pré-entraînés ne répondent pas à vos besoins spécifiques, vous pouvez utiliser le pré-entraînement continu et le réglage pour personnaliser les FM.

Pour affiner un modèle, procédez comme suit :

1. Préparez un ensemble de données qui représente les types d'entrée que vous souhaitez utiliser avec le FM.
2. Ajustez ou utilisez un pré-entraînement continu pour entraîner le FM sur votre ensemble de données. Ajustez les hyper-paramètres du modèle personnalisé si nécessaire.
3. Évaluez les performances du FM affiné, puis répétez les étapes jusqu'à obtenir les résultats appropriés. Pour plus d'informations, consultez la section Directives de personnalisation des modèles.

Combinez et affinez les sorties FM

Techniques d'ensemble

Pour obtenir des résultats plus précis et fiables, configurez un flux de travail qui combine les résultats de plusieurs modèles afin d'améliorer la fiabilité et la robustesse de la prévision finale. Vous pouvez également ajouter une logique personnalisée pour analyser et affiner les résultats.

Pour modifier ou supprimer des éléments non déterministes des sorties, utilisez des tâches de post-traitement.

Chaînage d’invites

Utilisez des invites chaînées pour créer des applications d'IA générative plus sophistiquées et plus performantes.

Décomposez votre tâche complexe en sous-tâches de plus petite taille et plus faciles à gérer, dotées de leur propre invite. Combinez ensuite les sous-tâches pour former la tâche complexe complète que vous souhaitez que le FM accomplisse. Utilisez Amazon Bedrock avec AWS Step Functions pour organiser les invites dans un ordre prédéfini ou selon un ensemble de règles défini.

Pour commencer, consultez le référentiel amazon-bedrock-serverless-prompt-chaining sur le site Web de GitHub. Pour plus d'informations sur la procédure de création d’applications d'IA efficaces, consultez la section Créer et orchestrer des applications d'IA générative avec Amazon Bedrock et Step Functions.

Configurer des garde-fous

Pour contrôler les réponses des FM, configurez des garde-fous pour Amazon Bedrock. Vous pouvez appliquer les garde-fous de manière cohérente sur plusieurs FM. Utilisez des protections pour bloquer certaines rubriques, filtrer les contenus dangereux ou imprévisibles, supprimer les mots indésirables et masquer les informations sensibles. Pour plus d'informations, consultez la section Garde-fous pour Amazon Bedrock.

Vous pouvez également personnaliser les messages bloqués et utiliser la fenêtre de test intégrée pour tester vos configurations de garde-fou. Pour obtenir des résultats contrôlés et prévisibles, connectez les garde-fous directement aux FM lorsque vous générez des réponses.