GB10

「GB10」タグの記事（2件）

第4話. TANREN — 進化したスケジューラを vLLM に差し込んだら、重負荷でテール応答が半減した 連載

第4話. TANREN — 進化したスケジューラを vLLM に差し込んだら、重負荷でテール応答が半減した

LLM サービングの心臓部であるスケジューラを進化で作り、本物の vLLM に組み込んで実機 A/B 測定した記録です。実トレース 16 構成で既定の FCFS に 15 勝（p=2.6×10⁻⁴）、重負荷では mean/p99 とも 35〜49% 短縮、空いているときは悪影響ゼロでした。一度では勝てず、未知データで 0 勝 6 敗の全敗から原因分析を 6 周した過程も記載します。

読む →
第3話. TANREN — 進化したキャッシュ方策を、本物の vLLM に差し込んで測る 連載

第3話. TANREN — 進化したキャッシュ方策を、本物の vLLM に差し込んで測る

シミュレーションで勝った追い出し方策を、稼働中の vLLM に組み込んで実機で測りました。一度は「シミュレーションの勝ちが実機で消える」という失敗を経て、測る場所と指標を見直し、メモリ圧下のテール応答（p99 TTFT）を 13〜16% 短縮するに至った記録です。試作実装の代償や、効果が出ない条件も実測のまま記載します。

読む →