Google Cloud、Gemini の強化学習ファインチューニング（RLFT）ベストプラクティスを公開：正解例ではなく「報酬」でモデルをカスタマイズ

何が起きたのか

Google Cloud ブログは、Google のシニアソフトウェアエンジニア Jiaqi Pan 氏とシニアプロダクトマネージャー Kunal Jha 氏が執筆した、強化学習（RL）で Gemini モデルをカスタマイズする方法についてのガイドを掲載した。強化学習とは、出力に点数を付け、高い点数につながる振る舞いを強めていく学習方法だ。Google Cloud によれば、強化学習は現代の大規模言語モデルの事後学習（基本的な学習を終えたモデルをさらに調整する段階）の要だが、大規模な学習クラスタとモデル内部へのアクセスを必要とし、Gemini のような独自モデルでは外部の顧客はそれらを利用できない。そこで Google Cloud は、これをマネージド型の RL ファインチューニングサービスとして提供したとしている。顧客はプロンプトと報酬関数を用意するだけで、インフラとモデル内部は Google が処理する。

Google Cloud の説明によると、このサービスは各学習ステップで複数の候補応答を生成し、ユーザーの報酬で採点して、高得点の応答が出やすくなるようにする一方、モデルを元の Gemini から離れすぎないように保つ。強化学習の細部は完全にマネージドで、ユーザーが責任を負い、結果に最も影響するのは報酬そのものだ。

詳しい説明を読む

情報源を収集し、独立検証を行ってから Jev が判断します。

RLFT と SFT は何が違うのか

教師ありファインチューニング（SFT）は、モデルに「正解例」の集まりを与えて模倣させる手法だ。一方、Google Cloud が説明する RLFT は、採点プログラムを書き、モデルを高得点の方向へ改善させる。Google Cloud は RLFT の特性として三つを挙げる。モデル自身の出力から学ぶため、無関係な能力への干渉が SFT より少ない傾向があること、過程ではなく結果に報酬を与えること、そして既存の能力を増幅し、たまにしか成功しないことを確実にできるが、モデルが一度も示したことのないスキルは教えられないことだ。

Google Cloud は、まずプロンプトと SFT を使い尽くすことを推奨している。ベースモデルがすでにある程度成功しているなら、そのまま RLFT を使える。成功率が低すぎる場合や SFT データが手元にある場合は、2 段階の方法を取れる。まず軽量な SFT でウォームスタートし、次に Continuous Tuning で SFT チェックポイント（学習途中で保存されたモデルの状態）から RL を継続する。

Google Cloud が挙げたユースケース

• ゲーム AI の NPC：Gemini の自動評価器（LLM-as-a-judge、AI モデルに回答を採点させる手法）でロールプレイと言語を採点。Google Cloud によれば、同じ応答の繰り返しや、意図しない言語への切り替わり（ドリフト）が解消した。
• 構造化エンティティ抽出：ルールベースの適合率／再現率を報酬に使用。Google Cloud によれば、ノイズの多い実際の文書でフィールドの精度が向上し、人手によるレビューを自動化に置き換えた。
• コンテンツモデレーション：Cloud Run の報酬で形式検証と決定論的評価器を組み合わせる。Google Cloud によれば、誤判定と人手で処理すべき量が大幅に減った。
• 実行結果で評価するコード：安全なサンドボックスで SQL や API 呼び出しを実行してから採点。Google Cloud によれば、技術に詳しくないユーザーが自然言語で独自データを照会できるようになった。
• HTML プレゼンテーション生成：スライドをレンダリングしてからレイアウトとデザインを採点。Google Cloud によれば、スタイルが統一され、レイアウトのはみ出しがないプレゼン資料を生成できた。

一般読者と企業への実際の影響

一般ユーザーにとって、この種の技術は企業内の AI ツールを特定業務でより信頼できるものにする可能性がある。例えば請求書からより正確にデータを抽出したり、プログラミングを知らない人が自然言語で社内データを照会できるようにしたりすることだ。企業の開発者に向けて、Google Cloud は報酬設計が鍵だと強調する。良い報酬は人間の好みと相関し、形式が崩れた出力でも破綻せずに処理でき、「報酬ハッキング」、つまりモデルがタスクを本当に達成するのではなく採点の抜け穴を突くことに耐性を持つべきだという。Google Cloud はまた、学習データと評価データを厳格に分離すること、デフォルト値から始めること、最終ステップではなく検証報酬が飽和した時点のチェックポイントを選ぶことも推奨している。

このトピックの最新ニュースを見る

• AIニュース