AIを「自分の仕事向け」に育てる。
そのしくみを、図解で。
ファインチューニングは、すでに賢いLLMに、自分のデータで「くせ」を足す技術です。このページでは、そのしくみを6つの図で触って確かめられます。図の数値は、しくみを説明するための架空の例です。
手を動かして全工程を身につけたい人へ:Udemy講座「Mac1台で学ぶ ローカルLLMファインチューニング超入門」
「プロンプト・RAG・ファインチューニング」は、変える場所が違う
LLMの振る舞いを変える方法はいくつもあります。違いは「どこに手を入れるか」。手法を選ぶと、変わる場所が光ります。
得意なこと
注意すること
使い分けの目安:知識を足したいならRAG、毎回同じ形式・口調・判断のくせを身につけさせたいならファインチューニング。まずはプロンプトで試し、足りない分を補います。
LoRA:巨大な重みは凍らせて、小さな「差分」だけを学ぶ
LLMの重みは巨大な行列です。LoRAは元の重み W を固定したまま、細長い2つの行列 B × A を足して振る舞いを変えます。学習するのは A と B だけなので、ずっと小さく済みます。
計算してみると(1つの重み行列あたり)
| 重み W の大きさ | ランク r | A と B / W | 割合 |
|---|
説明用の計算例です。モデル全体では、LoRA を付けない層や行列もあるため、割合はさらに小さくなることが多く、アダプタのファイルも土台のモデルよりずっと小さくなります。
だから Mac で回せる:全体の重みを更新する代わりに、ごく一部だけを学ぶ。土台のモデルは4bitに量子化して読み込む(QLoRA)ことで、メモリの使用量も抑えられます。
学習の流れ:データ → 学習 → loss を読む → アダプタ
ここでは、どんな質問にも関西弁で答える「関西弁AI」(説明用の架空の例)で、データづくりからアダプタを使うまでの流れを追います。効いたかどうかが一目で分かる題材です。
学習率を上げすぎると、AIは壊れる
同じデータ・同じ回数で、学習率(learning rate)だけを変えたときに起こりがちな4つの経過を、説明用の架空の値で描いています。線を押して表示を切り替えられます。途中で線が消えるのは、loss が計算できなくなった(NaN)ところです。
説明用の例(架空の数値)。実際の値はモデル・データ・設定で大きく変わります。
評価してみると(説明用の例・架空の数値)
議事録AI:同じ7Bモデルでも、ファインチューニングで「抜け」が減る
会議の文字起こしから、要約・参加者・決定事項・タスク(担当者と期限)・未決事項・次回の日程を、決まったJSONで取り出す。プロンプトだけの土台のモデルと、LoRAで学習したモデルでは、どこに差が出やすいのかを説明用の例で見ます。
項目ごとの比べ方(説明用の例・架空の数値)
「JSONとして読めるか」のような形の項目と、「タスクの数」「担当者」のような中身の項目を分けて見ると、どこが弱いかが分かります。数値は説明用の架空の例です。
LoRAは「外付け」:1つの土台に、用途ごとのアダプタを付け替える
LoRAのアダプタは、土台のモデルとは別のファイルです。土台は1つのまま、用途ごとに小さなアダプタを付け替えられます。
ローカルならでは:学習も推論も Mac の中で完結するので、社外に出せないデータでも試しやすく、使った分の利用料もかかりません(電気代は除く)。
このページの図と数値は、しくみを説明するための架空の例です。講座では、環境構築から議事録抽出LoRAの完成まで、すべての工程を自分のMacで手を動かして進めます。
- イントロダクション:4つのチューニング手法と、ローカルで学ぶ理由
- Phase 0 環境構築:venv・MLX・はじめての推論
- Phase 1 モデルの中身を覗く:トークン化・Transformer・Attention・量子化
- Phase 2 初めてのLoRA:Before / After を比べる
- Phase 3 ハイパーパラメータ実験:学習率と失敗の観察
- Phase 4 評価フレームワーク:テストセット・採点・レポート
- Phase 5 議事録抽出LoRA:7Bモデルで実用的なLoRA
- 補講:切り替え・マージ・量子化・QLoRA・蒸留
・Apple Silicon 搭載の Mac(メモリ16GB以上を推奨)
・Python の基本構文(変数・関数・for文・import)が読み書きできること
・ターミナルでコマンドを入力した経験
・モデルとライブラリのダウンロード時のインターネット接続
価格・無料プレビューの範囲・最新の内容は、Udemy の講座ページでご確認ください。