LoRA | ブログ | 鈴木商店

LoRA

「LoRA」タグの記事（2件）

LLMファインチューニングに不可欠な軽量化技術であるLoRA、量子化、QLoRAの仕組みを解説し、架空の事実をモデルに学習させる「富士山実験」で技術の有効性を実証します。

Google ColabのT4 GPUでELYZA 8BとLLM-jp 7.2Bを使い株価予測ファインチューニングに挑戦。精度不足に直面しつつも、追加学習やGGUF変換など多くの技術的知見を得た過程を記録します。