評価

概要から始める

はじめにのカードは設定手順を数えます。手順が終わっても評価結果ではありません。最近の実行は、このページに既にある実行の状態を示します。

各タブにあるもの

Runs は、確定したデータセット版とメトリクス集に対して評価を開始します。Datasets はゴールデンケースを凍結します。Metrics は実行が適用する信号をまとめます。Production はトレースを一覧し、実際の実行からゴールデンを作れます。それらのトレースに質問文は保存されません。Alerts は本番メトリクスを監視します。Prompts はテンプレートを版管理します。Experiments はプロンプト版を比較します。Compare は完了した二つの実行を並べます。

保存は実行ではない

保存しただけのデータセット、メトリクス集、プロンプト、アラートは、何も採点していません。数値を結果として扱う前に Runs を開き、状態を読んでください。QA ハーネスの URL はこの製品の一部ではありません。