大量のGPUによる大規模計算に、机上の1台と数ドルで立ち向かう — コードの自律進化モデル「TANREN」が切り拓くAIの民主化

進化的探索 FunSearch AlphaEvolve LLM 強化学習 Atari vLLM KVキャッシュ Python

課題

現代のAI開発は、大量のGPUによる大規模計算の勝負に突入しています。巨大なフロンティアモデルを数ヶ月間トレーニングし、推論時には大量のトークンを消費させてより長く、深く思考させる。しかしそこには数千枚のGPUと数百万ドルという、個人や一企業では到達しがたい「資本の壁」が存在します。

解決策

追加学習しない安価なLLMを「コードの鋳型」として使い、出力されたプログラムを自動で「進化」させるアプローチです。大規模計算が数億フレームの学習を経て到達した頂点に、手元のPC1台、数日間の探索、そして軽量LLMの数ドルのAPI代（加えて、診断ループでフロンティアモデルを数回だけ呼び出します）で到達します。

成果

適用できるドメインにおいて、超巨大モデルと同じ、あるいはそれ以上の成果（理論上限値に同点で並ぶ）を、約5ドルのAPI代と数時間で得られます。運用は決定論的なPython関数の実行のみで、ほぼ0ドル・最速・監査可能です。

墨絵の刀匠が槌を振り上げ、火花を散らして刀を鍛造している

はじめに：なぜ今、コードを「進化」させるのか

現代のAI開発は、大量のGPUによる大規模計算の勝負に突入しています。 巨大なフロンティアモデルを数ヶ月間トレーニングし、推論時には大量のトークンを消費させてより長く、深く思考させる。これが現在のトレンドです。しかし、そこには数千枚のGPUと数百万ドルという、個人や一企業では到達しがたい「資本の壁」が存在します。

**TANREN（鍛錬）**は、この大規模計算の優位を前提とした状況を打破したいという思いから生まれた、個人でもできる「AIの民主化」のための方法論です。

私たちが目指すのは、莫大なコストをかけてLLMの「重み」を学習させることではありません。追加学習しない安価なLLMを「コードの鋳型」として使い、出力されたプログラムを自動で「進化」させるアプローチです。 大規模計算が数億フレームの学習を経て到達した頂点に、手元のPC1台、数日間の探索、そしてわずか数ドルのAPI代で到達する。それを可能にするのが「TANRENモデル」です。

高資本アプローチ
大規模計算
  • 計算資源数百の TPU
  • 学習数億フレームの強化学習
  • 成果物巨大なブラックボックス（重み）
vs
個人規模・自律進化アプローチ
TANREN
  • 計算資源机上の PC 1台
  • 学習数ドルの軽量 LLM API（追加学習なし）
  • 成果物人間が読める数十行規模のPython関数

なお、この数ドルの内訳は、変異を量産する軽量LLMの呼び出しが大半を占めます。加えて、後述する「診断ループ」で、失敗の事実を言語化するためにフロンティアモデルを数回だけ呼び出します。回数が限られるためコスト全体への影響は小さいものの、天井に届くためには欠かせない工程です。

誤解を避けるための「血統」と「境界線」

このコンセプトには、蓄積された技術がベースになっています。

TANRENの「凍結LLM × 決定論的検証器 × 遺伝的アルゴリズム」という基本構造は、DeepMindが発表した FunSearch（2023） や AlphaEvolve の直接的な派生形（フォーク）です。TANRENが加えたのは、個人開発者が手元の環境で回せる軽量な実装レシピと、失敗の瞬間を事実として言語化する独自の「診断ループ」です。FunSearchの流れを発展・応用させたものと位置づけています。 また、この手法には「できること」と「できないこと」の境界がはっきりと存在します。

  • できること： 価値が「少数の構造的洞察」に集中する課題（アルゴリズムの発見、ルールベースの最適化、決定論的なスケジューリング）。
  • できないこと： 無数の微調整や、人間の主観・知覚、あるいは「反射（レフレックス）」が必要な課題（画像認識、滑らかな物理連続制御、エッセイの採点など）。

この手法はあらゆる課題に効くものではありません。しかし、適用できるドメインにおいては、フロンティアモデルを使い続ける場合と同等、あるいはそれ以上の成果が得られます。

本質は同じ：「成果の絶対評価」で投資対効果（ROI/VOI[Value On Invest]）を最大化する

ビジネスや実務において本当に必要なのは、AIモデルの規模や消費トークンの多さではありません。「課せられた目的・KPIを達成できたか」、ただそれだけです。

  • ゲーム環境であれば： 最終的な「スコア」
  • データセンターやインフラであれば： キャッシュの「ヒット率」やテールレイテンシの「負荷軽減率」
  • 物流や梱包であれば： 削減できた「ビンの本数」

成果の評価軸は、数百万ドルのフロンティアモデルを使おうが、TANRENが鍛造した数十行のPythonコードを使おうが、何ら変わりません。

であれば、タスクの本質が「構造の発見」にある領域で、リクエストごとに高価なモデルを呼び出し、推論コストを積み上げ続ける必要は乏しいと考えます。

TANRENが重視するのは、ROI（投資対効果）、そして VOI（Value on Invest：投資に対する価値の最大化） です。

評価指標フロンティアモデル / 巨大強化学習TANRENモデル（コード進化）
達成できる成果（KPI）天井（理論上限値）に到達同じ天井（理論上限値）に同点で並ぶ
開発・トレーニングコスト数千〜数万ドル ＋ 数週間約 $5 のAPI代 ＋ 数時間（軽量LLMの変異＋診断ループでのフロンティアモデル数回分を含む）
推論（運用）コストリクエストごとにトークン課金（高・遅）ただのPython関数を実行（ほぼ $0 ・最速）
運用の安全性ハルシネーション / 品質劣化リスクあり完全な決定論的コード（安全・可読・監査可能）

現在のAI界隈を覆う「思考ステップを増やして、とにかくトークンを消費させる」というトレンドに対して、TANRENは「一度数ドルでコードを鍛え上げてしまえば、運用の推論コストは永久にほぼゼロである」というアプローチを提案します。これこそが、私たちが提案する「これからのAIの賢い使い方」です。

仕組み：低コストで名刀を鍛える「3つの部品」と「1つの経路」

TANRENモデルの構造は極めてシンプルです。巨大なモデルのパラメーター（重み）を書き換える代わりに、「1本のPython関数」を遺伝子と見立てて進化させます。

装置は3つのコンポーネントと、1本の強力なフィードバック経路（診断ループ）だけで構成されています。

flowchart LR
    A["凍結LLM<br/>gemini-2.5-flash-lite"] -->|コードを出力| B["数百の候補<br/>プログラム"]
    B -->|決定論的評価| C["検証器<br/>（純 Python）"]
    C -->|勝者が生存| D["勝者が次世代の<br/>『親』コードになる"]
    D -->|再び変異プロンプトへ| A
    C -.->|失点の瞬間を計測| E["診断ループ<br/>（事実のみ・1回実行）"]
    E -.->|計測された事実を注入| A
役割具体的な実装思想とねらい
創造（変異）凍結した軽量LLM（gemini-2.5-flash-lite）追加学習は一切なし。コードの「変奏」を低コスト・高速に量産する鋳型。
審判（検証）純Pythonによる決定論的な採点プログラムLLMは絶対に使わない。人間が定義した数式やシミュレータで、ごまかしやハルシネーションの余地をゼロにする。
記憶（選抜）行動シグネチャ別アーカイブ ＋ 島モデル賢さを1つのブラックボックスに詰め込むのではなく、多様なコードの「集団（プール）」として蓄積する。

具体的には、進化の最小単位である「遺伝子」は1つのPython関数を記述したソースコードの文字列（ゲームなら act(ram, ...)、キャッシュなら priority(now, ...)）です。

これを制限された安全な名前空間で動的にコンパイルし、検証器にかけます。評価の手続きには、機械学習と同じ規律を適用しました。Train / Validation / Holdout（未見の検証データ）の環境はシード単位で厳密に隔離しています。そのうえで「現行の最良コードを上回った」と判定する条件を、探索中に一度も参照していないHoldout環境で、符号検定（Sign Test）により有意差が確認できることと定義しています。

停滞を打ち破るブレイクスルー：「診断ループ」

この手のコード進化スクリプトをただ素朴に回すだけだと、AIは必ずどこかで手詰まり（局所最適解）を起こします。たとえばPongであれば、21点満点中の16点あたりで進化の針がピタリと止まってしまうのです。

この停滞を抜け、約5ドルの費用で理論上限まで到達させた仕組みが、TANREN独自の診断ループです。

  1. 決定的失敗の自動計測: ミリ秒単位の追跡. 検証器（Python）がコードを実行し、「失点した瞬間」「キャッシュミスが起きた瞬間」の生のログ（Atariなら128バイトのRAM、キャッシュなら直前のアクセス履歴）をピンポイントで捕獲します。

  2. 事実のみの言語化: 診断モデルによる1回限りの実行. 捕獲した生のログを、フロンティアモデル（強力なLLM）に一度だけ渡します。ここでモデルに許されるのは計測された事実だけを客観的に述べることです。（例：「この関数は、ボールのY座標が急激に変化したフレームで常に 0 を返している」など） 探索全体を通じて、この呼び出しは行き詰まりを検知したときの数回に限られます。安価なモデルだけでは停滞を抜けられないため、限定的とはいえフロンティアモデルはこの手法に必要な要素です。

  3. 処方箋の封印と注入: プロンプトへの結合. コードの直し方（処方箋）や推測は絶対に書かせません。 抽出された事実だけを変異プロンプトの末尾に動的に注入します。

  4. 変奏の量産と選別: 安価なLLM ✕ 決定論的検証. 事実を受け取った安価なLLM（Flash-Lite）が、それを前提としたコードのバリエーションを何百本も生成します。最終的な正しさは、人間でもLLMでもなく、決定論的なテストの点数だけで判定されます。

手書きの修正が及ばなかった記録 この役割分担の意味を示す出来事がありました。同じ計測事実をもとに、開発者である私が「理論上はこれで直るはずだ」と考えて手で書いた修正コードは、実行するとスコアが −15-15 まで低下しました。私のドメイン知識では、環境の背後にある構造を十分に捉えられていなかったということです。 一方、同じ事実を渡した進化のループは、私が事前には想定していなかったコードの変異を経て、21.021.0（完全試合）に到達しました。事実が探索の範囲を絞り、LLMが生む大量の変異がその範囲を埋め、検証器が結果だけを見て選別する。このうちどれか1つが欠けていれば、このコストでの到達はできなかったと考えています。

実例ダイジェスト：Pong と キャッシュ

TANREN が実際に鍛え上げた「名刀」のうち、代表的な2つを簡潔に示します。コードと詳細な検証プロトコルは、各連載記事に記載します。

① Atari Pong — 理論上限に同点（21–0 × 40試合）

Atari Pong — 21 点満点中のスコア（高いほど良い）
人間テスター
9.3
DQN（2015）
18.9
MuZero（2020）
21.0
TANREN（97行 Python）
21.0

入力はゲーム機の 128バイトのRAM のみ。進化したコードは、進化中に一度も見ていない開始局面30試合を含む 40試合すべてで 21–0 を記録し、相手が物理的に追えないサーブ角度（キルショット）を自律的に発見しました。ランダムプレイは −20.7、人間テスターは 9.3、DQN’15 は 18.9、理論上限が 21.0 です。詳細は第1話に記載します。

② LLMキャッシュ追い出し — 20年の古典を上回る

指標値
holdout（実トレースの未来区間）11勝1敗・符号検定 p = 0.003
ヒット率84.3% → 86.6%（+2.3pt）
取りこぼし（ミス）−932回
相手ARC / LIRS / W-TinyLFU（20年もの古典）

RAGサーバのKVキャッシュで「何を捨てるか」を鍛造しました。Twitter実トレースの未来区間で、最強古典 ARC / LIRS / W-TinyLFU に 11勝1敗（符号検定 p = 0.003）。文書の「アクセスのリズム」と「共起」を読む、数十行の方策です。詳細は第2話に記載します。

深掘り（ブログ連載）

この仕組みが各領域でどのような「名刀」を鍛え上げたのか、そしてどこで限界を迎えたのか。個別の記録は、以下の記事でコードと実測値を交えて公開しています。

  • 第1話. Atari Pong — 128バイトから理論上限へ。自律発見された「キルショット」 → 読む
  • 第2話. LLMキャッシュ追い出し — 20年の古典を、実トレースの「未来」で上回る（近日公開）
  • 第3話. Atari Breakout — 「トンネル戦法」の自律発見と、読めるコードが止まる場所（近日公開）
  • 第4話. vLLM 実機サービング — 進化した方策を本番サーバへ差し込む（L3 スケジューラ / L1 プレフィクスキャッシュ）（近日公開）
  • 番外編. 勝てなかった場所 — 数学の記録（あと1歩）と連続制御（反射の壁）。装置の射程を計測する（近日公開）

この記事をシェア

X Facebook LinkedIn