Harness Optimization

LLM agentのharnessを改善し、確かな性能向上を見分ける

大規模言語モデル（large language model, LLM）のエージェントのふるまいは、モデルを選んだ時点ではまだ決まらない。何をコンテキストに入れ、どのツールをどう渡し、いつ検証し、失敗からどう立て直すか。同じモデルでも、周囲の実行系しだいで、解けるタスク、コスト、失敗モード（failure mode）は変わる。本書では、プロンプト、メモリ、制御フロー、検証器（validator）、復旧ロジックからなるこの実行系を 実行可能ハーネス（executable harness） と呼び、以下ではハーネス（harness）と略す。

では、モデルを変えずに、実行記録（trace）と評価からハーネス自体を改善できないだろうか。本書は、プロンプト、ワークフロー、メモリ、実行時コードの編集を一つの最適化ループとして捉える。失敗から更新候補（candidate）を作り、限られた予算とばらつきのある評価の下で本当の改善を見分け、確かめた変更だけを次の実行へ持ち越す。目標は、エージェントが変化すること自体ではない。その変化を、再現可能で信頼できる改善にすることである。