効果的なプロンプトと機能を使用して、Amazon Bedrockでより一貫した、信頼性の高い結果を得たいです。
解決方法
Amazon Bedrock のプロンプトが正しく機能しない場合、またはより確定的な応答が必要な場合は、次の解決策を使用してください。
適切な基盤モデルを選択する
Amazon Bedrock では、Amazon Titan、Anthropic Claude、Mistral など、複数の事前にトレーニングされた基盤モデル (FM) にアクセスできます。
ユースケースに適した FM を見つける方法を次に示します。
- temperature や top-p などのモデル推論パラメータを調整し、生成テキストのランダム性を減らします。
- さまざまなモデルをテストします。基本的なテストを実行するには、Amazon Bedrock コンソールのチャットプレイグラウンドにある比較モード機能を使用してください。
- さまざまなモデルを使用し、同じプロンプトを複数回実行したときの応答の一貫性を比較します。
- ユースケースに最も適した動作をするモデルを選択してください。
モデル評価ジョブを使用する
高度なテストを実行するには、モデル評価ジョブを使用します。プロンプトまたはトレーニングデータ内の潜在的な問題やバイアスを特定するには、自動モデル評価を使用します。入力データに対する出力の一貫性を確認するには、人間の作業者によるモデル評価ジョブを使用します。
明確で具体的なプロンプトを作成する
適切な応答を生成する、明確で具体的なプロンプトを作成するには、次の対応を行います。
- プロンプトをさまざまな方法で記述します。たとえば、モデルからより一貫した応答を得るために、構造、キーワード、形式などを変更します。
- オープンエンド出力や分岐出力を生成するモデルの能力を制限するプロンプトを使用します。
- FM の推論パラメータを調整し、各プロンプトの出力にばらつきがないか確認します。
効果的なプロンプトの例を次に示します。
``` You are a professional proofreader. Please review the following text for any grammatical errors, spelling mistakes, or inconsistencies, and provide corrections:
[Insert text to be proofread] ```
上記のプロンプトは、モデルの役割を明確に定義し、具体的な指示を示しています。また、応答の範囲が制限されるため、確定的で関連性の高い出力が得られる可能性が高くなります。
FM をカスタマイズする
事前トレーニング済みの FM が特定の要件に合わない場合は、継続的な事前トレーニングと微調整を行うと FM をカスタマイズできます。
モデルをファインチューニングするには、次の手順を実行します。
- FM で使用する入力の種類を表すデータセットを準備します。
- データセットで FM をトレーニングするには、ファインチューニングまたは、継続的な事前トレーニングを行います。必要に応じて、カスタムモデルのハイパーパラメータを調整します。
- ファインチューニングした FM のパフォーマンスを評価し、適切な結果が得られるまで手順を繰り返します。詳細については、「モデルカスタマイズのガイドライン」を参照してください。
FM 出力の結合と調整
アンサンブル手法
より正確で信頼性の高い結果を得るには、複数のモデルからの出力を組み合わせて最終予測の信頼性と堅牢性を向上させるワークフローを設定します。カスタムロジックを追加して出力を分析し、調整することもできます。
出力から非決定的要素を変更または削除するには、ポストプロセッシングタスクを使用します。
プロンプトチェイニング
チェインプロンプトを使用して、より高度で高性能な生成 AI アプリケーションを構築します。
複雑なタスクを、独自のプロンプトを持つ、より小さく管理しやすいサブタスクに分割します。次に、サブタスクを組み合わせて、FM で実行する複雑な完成タスクを作成します。Amazon Bedrock と AWS Step Functions を組み合わせて使用すると、事前に定義された順序や、定義済みのルールセットに従ってプロンプトを並べることができます。
はじめに、GitHub のウェブサイトにある amazon-bedrock-serverless-prompt-chaining リポジトリを参照してください。効果的な AI アプリケーションを構築する方法については、「Amazon Bedrock と Step Functions での AI アプリケーションの構築およびオーケストレーション」を参照してください。
ガードレールのセットアップ
FM からの応答を制御するには、Amazon Bedrock にガードレールを設定します。ガードレールは複数の FM に一貫して適用できます。ガードレールを使用すると、特定のトピックのブロックク、有害または予測できないコンテンツの除外、望ましくない語句の除外、機密情報の非表示などが可能です。詳細については、「Amazon Bedrock 用のガードレール」を参照してください。
また、ブロックされたメッセージをカスタマイズしたり、組み込みのテストウィンドウを使用してガードレールの設定をテストしたりすることもできます。制御された予測可能な出力を得るには、応答を生成するときにガードレールを FM に直接接続します。