ハーネスの改善を評価する

見たことのあるタスクで評価値が上がっても、未知のタスクで良くなるとは限らない。ハーネス（harness）の改善を評価するときは、良くなった点、未知のタスクへの一般化、悪化した点を分けて確認する。

三つの質問に分ける

更新候補（candidate）を評価するときは、次の三つを問う。

1. 最適化器（optimizer）が見たタスクでは良くなったか
2. 最適化器が見ていないタスクでも良くなったか
3. 既存の成功、コスト、応答時間、権限を悪化させていないか

一つ目だけでは不十分である。同じタスクを何度も使えば、最適化器はそのタスクに合わせてハーネスを作れる。これは未知のタスクへの改善ではなく、見たタスクへの適合である。

後続章への見取り図

三つの質問は、後続章で別々のプロトコルへ展開する。

質問	詳細を扱う章
見たタスクで良くなったか	Part IIの最適化ループと実行結果と失敗分析
見ていないタスクでも良くなったか	Part IIIのタスク分割とモデル・環境間の汎化
既存能力や運用条件を壊していないか	Part IIIの性能退行・コスト・安全性

ここでの原則は一つである。候補生成、選択、停止判断に使った情報はすべて最適化データであり、未知条件での最終評価とは分ける。開発用データ（development data）、昇格用検証データ（promotion validation）、封印テスト（sealed test）の情報フロー、探索予算、昇格契約（promotion contract）、差し戻し（rollback）の実装はPart IIIで定義する。

要点

ハーネスの改善は、見たタスクの利得、未知条件への汎化、性能退行（regression）の三問に分ける。具体的な分割と採用プロトコルはPart IIIで定義する。