第4話. TANREN — 進化したスケジューラを vLLM に差し込んだら、重負荷でテール応答が半減した

LLM サービングの心臓部であるスケジューラを進化で作り、本物の vLLM に組み込んで実機 A/B 測定した記録です。実トレース 16 構成で既定の FCFS に 15 勝（p=2.6×10⁻⁴）、重負荷では mean/p99 とも 35〜49% 短縮、空いているときは悪影響ゼロでした。一度では勝てず、未知データで 0 勝 6 敗の全敗から原因分析を 6 周した過程も記載します。