Harness Optimization

モデルを動かす仕組みの改善法を、探索・学習・評価の違いから比較する

同じ言語モデルでも、指示やツール、処理の順序、過去の経験の使い方によって、解ける問題と費用は変わる。モデルを動かす周囲の仕組みをハーネスと呼ぶ。本書は、実行結果や評価を手掛かりに、この仕組みを改善する研究を比較する。

何を変更できるか、次の候補をどう作って選ぶか、実験は何を確かめたか。この三つを分けて読むことで、最終得点だけでは見えない手法の違いを捉える。モデルの重みを固定する探索を中心に、経験の再利用や生成器の学習も扱い、改善が未知の問題に残る条件と、その評価の限界を整理する。