ML Notes — 日本語 https://notes.iwase.dev/ja/ 機械学習・深層学習に関するまとめ（日本語版） quarto-1.10.18 Sat, 08 Aug 2026 00:00:00 GMT Harness Optimization Naoto Iwase https://notes.iwase.dev/ja/harness-optimization/ 大規模言語モデル（large language model, LLM）のエージェントのふるまいは、モデルを選んだ時点ではまだ決まらない。何をコンテキストに入れ、どのツールをどう渡し、いつ検証し、失敗からどう立て直すか。同じモデルでも、周囲の実行系しだいで、解けるタスク、コスト、失敗モード（failure mode）は変わる。本書では、プロンプト、メモリ、制御フロー、検証器（validator）、復旧ロジックからなるこの実行系を 実行可能ハーネス（executable harness） と呼び、以下ではハーネス（harness）と略す。

では、モデルを変えずに、実行記録（trace）と評価からハーネス自体を改善できないだろうか。本書は、プロンプト、ワークフロー、メモリ、実行時コードの編集を一つの最適化ループとして捉える。失敗から更新候補（candidate）を作り、限られた予算とばらつきのある評価の下で本当の改善を見分け、確かめた変更だけを次の実行へ持ち越す。目標は、エージェントが変化すること自体ではない。その変化を、再現可能で信頼できる改善にすることである。

]]> LLM AI Agent https://notes.iwase.dev/ja/harness-optimization/ Sat, 08 Aug 2026 00:00:00 GMT Small Recursive Reasoning Models Naoto Iwase https://notes.iwase.dev/ja/recursive-reasoning/ 小規模なneural networkをtest-timeに再帰展開するreasoning modelは、parameter数の代わりに反復計算を使う。SudokuやARC-AGIなどの構造化taskを中心に、独立した研究系統として発展してきた。

本書はrecursive reasoning modelを、技術的基盤、前史、実験評価、批判の各面から整理する。latent reasoningやtest-time scalingとの関係、実装上の選択、未解決問題も扱う。

]]> Deep Learning Reasoning https://notes.iwase.dev/ja/recursive-reasoning/ Sun, 24 May 2026 00:00:00 GMT Reliable Reasoning Naoto Iwase https://notes.iwase.dev/ja/reliable-reasoning/ 大規模言語モデル（LLM）のreasoningを信頼できる形で引き出す研究が、2025–2026年に急速に発展した。本書は、generationを長くするだけでなく、外部信号を用いてreasoningを改善・評価する手法を横断して整理する。

対象は、訓練側の信号、推論側の信号、構造的アプローチである。能力獲得の実態、正しさの推定、inference computeの配分を共通の評価軸として扱う。

]]> LLM Reasoning https://notes.iwase.dev/ja/reliable-reasoning/ Tue, 19 May 2026 00:00:00 GMT Diffusion Language Models Naoto Iwase https://notes.iwase.dev/ja/dllm/ Diffusion Language Models（DLLM）は、画像生成で成功した拡散モデルの考え方を言語モデリングに持ち込む試みであり、近年 LLaDA や Dream といった大規模な実装例、Mercury や Gemini Diffusion といった商用クラスの実装例が登場している。本書は、現代的な DLLM を理解するための主要文献と、Li et al. 2025 のサーベイで提示された taxonomy を統合し、定式化・サンプリング・連続拡散との対応・AR からの適応・派生 discrete モデル・ハイブリッド・推論加速・guidance・事後学習・マルチモーダル化・応用領域までを体系的にまとめる。

]]> LLM Generative Model https://notes.iwase.dev/ja/dllm/ Fri, 15 May 2026 00:00:00 GMT One-Step Generation Naoto Iwase https://notes.iwase.dev/ja/one-step-generation/ 2025〜2026年にかけて、拡散モデルや Flow Matching の多ステップ推論を克服し、1回のネットワーク評価（1-NFE）で高品質な画像を生成する手法が急速に発展している。本シリーズでは、この分野を牽引する4つの論文をキュレートし、Flow Matching の拡張から全く新しいパラダイムまでの技術的進化を追う。

]]> Deep Learning Generative Model https://notes.iwase.dev/ja/one-step-generation/ Wed, 11 Feb 2026 00:00:00 GMT Molmo2 Naoto Iwase https://notes.iwase.dev/ja/molmo2/ Molmo2 (Multimodal Open Language Model 2) は、Allen Institute for AIとワシントン大学が開発した完全オープンなVision-Language Model (VLM) familyである。中心的な機能は、動画内のeventやobjectが「いつ、どこに」現れるかを示す video grounding である。

本書は、この機能を支えるopen data pipeline、model family、grounding評価を、proprietary systemとの報告上の比較を含めて整理する。

論文 · Code · Demo

]]> VLM https://notes.iwase.dev/ja/molmo2/ Tue, 03 Feb 2026 00:00:00 GMT Olmo 3 Naoto Iwase https://notes.iwase.dev/ja/olmo-3/ Olmo 3 は、Allen Institute for AI (AI2) が開発した 7B および 32B パラメータスケールの完全オープンな言語モデルファミリーである。このリリースは、モデルの全ライフサイクル（すべてのステージ、チェックポイント、データポイント、依存関係）を含む「モデルフロー (Model Flow)」全体を公開している。

論文: arXiv:2512.13961

]]> LLM Reasoning https://notes.iwase.dev/ja/olmo-3/ Mon, 02 Feb 2026 00:00:00 GMT