ライフスタイル
教師ありファインチューニング(SFT):良い例でモデルにタスクの実行を教える
教師ありファインチューニングは、入力と期待する出力を訓練例として使い、既存のモデルにより安定したタスクの振る舞いを学習させます。本記事では、会議のタスク整理を例に、データの対応付け、会話のロール、損失計算、テスト用データの確保を説明し、SFT、フューショットプロンプティング、LoRA、選好最適化を区別します。また、例に含まれる推測や形式の誤りまで学習される仕組みも解説します。読後には、訓練データがモデルに不明な情報を不明のまま残すことを教えているのか、単に見た目を整えることだけを教えているのかを確認できます。
読了目安 10 分

目次
教師ありファインチューニングは、英語では Supervised Fine-tuning といい、一般に SFT と略されます。入力と期待する出力の例を使い、既存のモデルを追加学習する手法です。言語モデルの場合、入力にはユーザーの依頼や資料、期待する出力には規則に沿った回答などを使います。モデルは学習中にパラメータモデルパラメータ(Model Parameters)とはモデルパラメータは、入力を出力に変換するために学習時に調整される数値で、重みやバイアスなどがあります。この記事では簡単な式を使って、パラメータが予測にどう影響するかを説明し、モデルパラメータ、学習のハイパーパラメータ、プロンプト、生成設定を区別します。また、パラメータ数、数値精度、アクティブパラメータ数が異なる指標である理由も解説します。モデルの仕様をより正確に読み取り、パラメータが増えても知識が一件ずつ増えるわけではなく、チャットのたびにモデルを学習し直すわけでもないことを理解できます。記事全文を読むを調整し、例の回答が生成される確率を高めながら、タスクの形式、表現、処理方法を徐々に学びます。
「教師あり」とは、学習に明確な目標信号があることを意味します。毎回の回答を人間が見守るという意味ではなく、例そのものの正しさも保証しません。本記事では、架空の議事録をタスクリストに整理する場面を通して、有用な訓練例の作り方を説明します。TRL の公式 SFT ドキュメントと InstructGPT の研究を参考にしていますが、あるツールの初期設定をすべてのモデルに共通する規則とは扱いません。また、この例で学習やテストを完了したと主張するものでもありません。
見栄えのよい答えより、良い訓練例が重要
議事録から作業項目、担当者、期限を抽出することが目標だとします。訓練例では、原文に明示された情報だけを記入し、担当者がなければ未指定とし、期限がなければ空欄を残すことを教える必要があります。アノテーション担当者が表を埋めるために日付を勝手に推測すると、モデルは「情報がなくても埋める」という振る舞いを学ぶ可能性があります。出力は専門的に見えても、タスクが本来求める忠実な整理からは、かえって遠ざかってしまいます。
データの対応付けにも一貫性が必要です。同じ程度に曖昧な文を、ある例では確定したタスクとし、別の例では要確認のままにすると、モデルは矛盾した信号を受け取ります。大量のデータを集め始める前に、何を約束、検討中の提案、背景情報とするかを定義し、アノテーション担当者に同じ少数の事例を処理してもらい、判断の違いを比較するべきです。SFT で達成できる性能の上限は、目標自体が明確かどうかに左右されることが多く、例の数を増やすだけでは解決しません。
学習では入力と回答をどう使うのか
一般的な言語モデルの SFT でも、回答のトークン予測が中心ですが、データは明確なタスクの例として整理されます。会話データでは、システム、ユーザー、アシスタントのロールを保持し、そのモデルの会話テンプレートに合わせる必要があります。ロールの割り当てを誤ると、モデルがユーザーの質問をまねたり、背景情報にすべき文章を出力すべき回答として学習したりする可能性があります。したがって、データ形式は単なる体裁の細部ではなく、学習目標の一部です。
損失を計算する範囲も確認すべきです。TRL のドキュメントには、アシスタントの回答だけ、または補完部分だけを対象に損失を計算する選択肢があります。具体的な挙動はデータの種類やテンプレートの対応状況に左右されます。回答の欄があるからといって、ツールが必ずその欄だけを学習すると決めつけてはいけません。学習前に、実際のトークン化とマスクの結果を確認し、重要な回答が切り捨てられていないこと、学習させるつもりのないロールの内容が誤って目標に含まれていないことを確かめるべきです。
詳しい説明を読む
議事録原文と期待するタスクを対にし、SFT で既知の内容の整理と不明な項目をそのまま残すことを学習させ、新しい会議で検証する
例:議事録とタスクをどう対応付けるか
入力に「小林が来週プレゼン資料を送る。会場を変更するかどうかは、管理者の返答を待ってから決める」と書かれているとします。期待する出力では、小林がプレゼン資料を送るタスクを明確に記載し、期限は原文の相対的な表現を保ち、会場変更は要確認事項に分類できます。会議の日付がなければ、「来週」を勝手に特定の暦日に変換してはいけません。これは独自に作成した解説用の例であり、実際の会議やモデルのテスト結果ではありません。
次に、比較用の入力として「小林にプレゼン資料を送ることを検討してもらえますか?」を用意します。これは単なる提案かもしれず、正式な作業指示に当たるかどうかは、データのアノテーション規則に従って判断すべきです。テストセットには、約束、疑問、否定、要確認の文をすべて含め、モデルがタスクの意味を捉えているかを確認します。例と同じ文型だけでテストすると、形式の評価点は高くても、実際の会議で生じる難しさが見えない可能性があります。
想定する受け入れ評価では、少なくとも内容の正しさ、項目の形式、不明事項の扱いを分けて確認します。モデルが人名を正しい欄に入れても、期限のない事項を明日までと補ってしまえば失敗です。逆に、空欄を正直に残したリストを、見た目が不完全だからという理由で低く評価してはいけません。このような評価設計はデータ品質にも影響し、製品が本当に必要とする振る舞いをモデルに学ばせます。
SFT と他の手法の役割分担
フューショットプロンプティングは、そのときのコンテキストに例を入れる方法で、通常はモデルのパラメータを更新しません。一方、SFT はデータを使って学習を実行し、その効果は学習後のモデルの状態に残ります。LoRA はパラメータ効率のよい更新方法で、SFT の実行に使えます。SFT と両立しない別の例示形式ではありません。選好最適化は、より良い回答とより悪い回答の比較を利用するため、期待する回答を直接与える信号とは異なり、実務では例からの学習の後に続けて実施できます。
毎週の会議の最新内容が必要な場合でも、SFT が自動で読み取ってくれるわけではありません。その回のタスクをモデルが処理できるよう、アプリケーションは引き続き、会議の文字起こし、関連するプロジェクト資料、必要な日付を提供する必要があります。学習は整理する能力を高め、データパイプラインは正しい内容をモデルに届ける役割を担います。両者を分けて考えることで、「会社のデータで学習したから、その後の変更もすべて知っている」という思い込みを避けられます。
学習が役立ったと判断できる証拠とは
未学習の会議データを確保しておくことが非常に重要です。会議やプロジェクト単位で分割し、同じ会議を書き換えた版が訓練用とテスト用の両方に入らないようにするのが望ましい方法です。評価では、明確なプロンプトを与えた元のモデルと比較し、単にプロンプトが良くなっただけでなく、SFT によって実際の要件への対応が改善したかを確認します。また、維持すべき既存の能力が、専用の学習によって低下していないかも調べる必要があります。
訓練損失の低下は、モデルが使用した目標により適応したことを示しますが、それだけでタスクリストの信頼性が高まったとは証明できません。本番運用前には、モデルの読み込み、会話テンプレート、出力の解析、バージョンの互換性も検証し、運用後には新しい種類の会議や規則の変更に対する抜き取り確認を行います。「提案をタスクに含めるか」という業務上の定義を変えた場合、過去の訓練例も整理し直す必要があるかもしれません。推論時に一言追加するだけで、矛盾を完全に打ち消せると期待してはいけません。
引き継ぎ可能な SFT の成果物には、アノテーション規則、データソースの範囲、学習と評価のバージョン、代表的な誤りの事例を含めるべきです。これらの情報があれば、次の保守担当者はモデルが何を学習したのか、どの空欄を意図的に残しているのかを把握できます。一般の読者に最も覚えておいてほしいのは、SFT は例に示された振る舞いを増幅するということです。だからこそ、データにおける誠実さ、不確実性、例外の扱いも、正解と同じくらい重要なのです。
| 手法 | 主な役割 | 注意点 |
|---|---|---|
| フューショットプロンプティング | その都度、例を提示する | 通常はパラメータを更新しない |
| SFT | 入力から期待する出力への対応を学ぶ | 例の品質が目標を決める |
| 選好最適化 | 異なる回答の品質を比較する | 一貫した選好基準が必要 |
ファインチューニング(Fine-tuning):既存のモデルを自分のタスクに適応させるファインチューニング(Fine-tuning):既存のモデルを自分のタスクに合わせるファインチューニングは、既存のモデルに追加学習を行い、特定のタスクや分野に適するようにする手法です。本記事では、カスタマーサポートのメール分類を例に、データ整理、パラメータ更新、テストセットの確保、バージョンのデプロイを解説します。フルファインチューニング、LoRA、教師ありファインチューニング、RAG の違いと、学習成績が良くなっても実際の性能が下がる理由も説明します。読み終えると、ファインチューニングを行う価値がある問題かどうかを判断し、形式の一貫性、未知の種類、データリーク、既存の能力の低下を確認する方法がわかります。記事全文を読む
フューショットプロンプティング(Few-shot Prompting)とは:例で形式を明確に教えるフューショットプロンプティング(Few-shot Prompting)とは:例で形式を明確に伝えるフューショットプロンプティングは、同じ入力内に少数の例を入れ、モデルに例に沿って新しいデータを処理させる方法です。モデルの再学習とは異なります。この記事では落とし物情報の分類を題材に、モデルが表面的な言い回しだけをまねしないよう、通常例、境界例、情報不足の例を選ぶ方法を解説します。テスト方法、比較表、オリジナル図解を交え、例を増やすべき場合、先に分類ルールを直すべき場合、例示用データと検証用データを分ける必要がある理由を説明します。記事全文を読む
直接選好最適化(DPO):回答の比較でモデルを直接調整する
AI 用語総索引:Loop Engineering から生成 AI まで
この記事が役に立ったら、必要な方にシェアしてください
同じテーマの記事
ライフスタイル
エージェント型検索拡張生成(Agentic RAG):いつ再検索が必要か
エージェント型検索拡張生成では、モデルが検索の判断に関与し、質問とすでに得られた根拠に応じて情報源の選択、クエリの書き換え、追加検索を行います。本記事では LangGraph のドキュメントにある具体的なフローを採用し、会場の利用条件の比較を例に固定型 RAG との違いを示すとともに、停止条件、権限、検索履歴、コスト管理を説明します。読後には、タスクに動的な探索が必要か、予測可能な固定フローで十分かを判断できるようになります。
ライフスタイル
グラフ検索拡張生成(GraphRAG):関係から文書群全体を読み解く
GraphRAG はエンティティとその関係を検索に取り入れ、文書をまたぐ関連性や全体のテーマについての回答を支援します。本記事では Microsoft の原論文と公式ドキュメントを対象に、エンティティ抽出、コミュニティ要約、ローカル検索、グローバル検索を解説し、地域イベントの記録を例に、問いによって異なる経路が必要なことを示します。また、グラフの接続漏れ、名称の誤統合、要約の歪みが回答にどう影響するかを説明し、見栄えのよい関係図を検証済みの事実と取り違えないようにします。
ライフスタイル
ナレッジグラフ(Knowledge Graph):事物と関係を明確にする
ナレッジグラフはエンティティと関係でデータを整理し、「誰が何に参加し、どこで、いつ起きたか」をリンクに沿って検索できるようにします。本記事ではコミュニティイベントのデータを例に、エンティティの識別、関係の方向、出典、時間を説明します。リソース記述フレームワーク(RDF)とプロパティグラフの表現の違いを紹介し、グラフが可視化や信頼できる事実と同じではないことも解説します。読めば、データがグラフ化に適しているかを判断でき、テーブル、ベクトル検索、グラフ検索拡張生成(GraphRAG)との組み合わせ方も理解できます。
ライフスタイル
ハイブリッド検索(Hybrid Search):語句の正確さと意味を両立
ハイブリッド検索は、全文検索やベクトル検索などの異なる検索結果を統合し、正確なコードと自然言語による要求の両方に対応します。本記事では機器の取扱説明書の検索を例に、候補の取得、重複排除、順位融合、再ランキングを解説します。逆数順位融合(RRF)が順位を使って異なる検索結果を統合する仕組みを紹介するとともに、組み合わせればあらゆる面で精度が上がるわけではないことも説明します。コードを含む質問、言い換えた質問、答えのない質問で品質を確認し、権限、フィルター、重複コンテンツによる偏りを見分けられるようになります。
この記事を引用している記事
出典
上記の参考資料および記載の確認日時点の情報をもとに整理しています。料金・時刻・機能・利用規約は変更される場合があるため、ご旅行や予約・購入の前には該当する公式サイトで最新情報をご確認ください。