第2回:ローカルGPUでの挑戦と挫折 — RTX 3060の6GBで8Bモデルに挑む
ノートPC搭載のRTX 3060(6GB VRAM)でELYZA 8Bモデルのファインチューニングに挑戦し、VRAM不足で断念するまでの過程と、そこから得た教訓を記録します。
29件の記事
ノートPC搭載のRTX 3060(6GB VRAM)でELYZA 8Bモデルのファインチューニングに挑戦し、VRAM不足で断念するまでの過程と、そこから得た教訓を記録します。
OpenAI APIのファインチューニングでgpt-4o-miniをカスタマイズし、約8分の学習で安定したJSON出力と十分な予測精度を実現。データ準備の苦労と、Colabとの決定的な違いを詳しく解説します。
翻訳用LLMプロバイダとしてDeepSeekを導入したところ、処理速度・中国語混入・入力データ漏洩の3つの問題が発生。ChatGPTへの統一に至った経緯と、LLMプロバイダ選定の教訓をまとめます。
連載最終回。MySQLからFirestoreへのデータ移行で直面したインデックス設計・Upsert戦略・書き込み課金との戦い、そして千里眼サービスの本番運用アーキテクチャの全体像をまとめます。
LLMファインチューニングにおける訓練データの設計思想を解説。企業情報・ニュース・株価・財務・マクロ経済指標の5種類のデータ統合、正解ラベルの作り方、8バージョンに及ぶ試行錯誤の過程を記録します。
翻訳パイプラインへのTTS追加の実装記録:Web Speech APIのコード、モバイルブラウザの回避策、Bluetoothオーディオルーティング、そしてネイティブアプリへの道筋。
RTX 3060でのローカルLLM検証:Ollamaのセットアップとクラッシュ、LM Studio 0.4.0のヘッドレスCLI、並列リクエスト制御のロック機構、モバイルLLMの実現可能性調査、そして多言語対応ガイド。
核心の実装:速度と品質を切り替えるデュアルプロンプト、ストリーミングJSON抽出、デバウンス処理、段階的表示のフロントエンド — コード付き。
既存の音声翻訳アプリが会話を壊す理由と、Deepgram・FastAPI・WebSocketで翻訳機の基盤を構築する方法。