Amazon SageMaker AIのサーバーレスモデルカスタマイズが完全ファインチューニング(FFT)に対応、AWSは10万件超のデータでLLM評価の正答率90.0%と説明

AWSはSageMaker AI Serverless Model CustomizationがFFTに対応し、GPUやクラスターの自己管理が不要になると発表した。AWSはコード生成の実験でFFTとLoRAを比較し、FFTはハイパーパラメータに敏感だと注意している。

ニュース日: 読了目安 7 分

LINEで送る
目次
  1. 1. 今回何が変わったのか?FFTとLoRAの違いは?
  2. 2. AWSはどのようにテストしたのか?結果はどこまで信頼できるか?
  3. 3. FFTを使うとき、ハイパーパラメータと忘却リスクで注意すべき点は?
  4. 4. 始めるには?

「ファインチューニング」とは、学習済みの大規模言語モデルに自社データで追加学習を行い、特定の分野やタスクを得意にさせることです。AWSは公式ブログで、Amazon SageMaker AI Serverless Model Customizationが完全ファインチューニング(Full Fine-Tuning、FFT)に対応し、インフラを自己管理せずにモデルの全パラメータを更新できると発表しました。従来よく使われるLoRA(低ランク適応)は、パラメータの一部だけを学習するためGPUリソースを節約できます。記事では正式提供かプレビューかは示されず、料金やリージョンの情報もないため、詳細はAWSのドキュメントで確認してください。自社の分野知識をモデルに取り込みたいが、GPUの容量計画は避けたいチームにとって、LoRA以外の選択肢になります。以下の数値はすべてAWS自身の実験結果であり、第三者による検証ではありません。

今回何が変わったのか?FFTとLoRAの違いは?

AWSの説明では、LoRAは事前学習済みの重みを固定し、小さな低ランク行列を挿入します。タスクが複雑になり、データ量が数万件を超えると、LoRAは精度の頭打ちに直面し、AWSはこれをランク不足が原因としています。一方FFTはモデルのパラメータを同時に更新し、AWSは重み行列の表現力を最大限に引き出せるとしています。

AWSによると、このサービスではベースモデル、データセット、ハイパーパラメータ(学習率、バッチサイズ、エポック数など学習前に決める値)を指定するだけで、計算資源の割り当てとチェックポイント管理はサービスが自動で処理します。

AWSの実験におけるLoRAとFFTの比較(単一のコード生成タスクであり、一般化はできない)
観点LoRAFFT(AWSの説明による)
更新方法元の重みを固定し、低ランク行列のみ学習モデルのパラメータを同時に更新
大規模データでの性能AWSは、複雑なタスクでデータが数万件を超えると精度が頭打ちになると説明10万件超でLLM-as-Judgeの意味的正答率90.0%
ある回のLLM-as-Judge比較81.5%79.5%
リスク—学習率が高すぎると事前学習の知識を上書きし、破滅的忘却を招く

AWSはどのようにテストしたのか?結果はどこまで信頼できるか?

AWSは、SageMaker AI Studioで提供されるQwen3-4Bベースモデルに教師ありファインチューニング(SFT)を行い、LoRAとFFTで同じプロンプト、目標、評価コードを使いました。データセットはMagicoder-Evol-Instruct-110Kで、コードの指示と応答のペア11万件を90/5/5に分割し、学習99,000件、検証5,500件、保留テスト5,500件としています。Hugging Faceのデータセットページにも、約111k行のtrain分割が記載されています。

評価にはサービス内蔵の3つの方法を使いました。Amazon Nova Proを審査役とするLLM-as-Judge、BLEUとROUGEでコードの類似度を測るPRIMECODE、57分野をカバーしAWSが忘却の検出に用いるMMLUです。AWSはさらに、Qwen3-4B、DeepSeek-R1-1.5B、Nemotron-30B、Gemma-4-26Bで数十組の実験を実施し、各実験は投入から結果が出るまで約数時間で、生成されたモデルはSageMaker Model Registryに自動登録されると述べています。

FFTを使うとき、ハイパーパラメータと忘却リスクで注意すべき点は?

  • 学習率:AWSの実験では、10万件を超える大規模データセットで2e-5が安全圏でした。
  • エポック数(学習データを一巡する回数):LLM-as-Judgeは3エポックで90.0%に上昇し、3エポックを超えるとすべてのテスト変種で悪化しました。
  • バッチサイズ:学習率を固定すると、小さいバッチは更新のノイズが大きく学習率を上げたのと似た効果になり、忘却リスクが高まります。大きいバッチは学習不足になる可能性があります。
  • 汎用知識の保持:AWSは、ウォームアップ5%、バッチサイズ8、学習率2e-5のベースライン設定がMMLUで汎用知識を最もよく保てたと述べています。

始めるには?

AWSは、SageMaker Python SDKを使ってプログラムから学習・評価ジョブを設定・起動することを勧めています。FFT対応のベースモデル一覧はAWSのドキュメントを参照してください。以下はAWSの記事にあるFFTのサンプルです(内容は原文から取り、体裁のみ整えています)。

AWSブログのFFTサンプル(SageMaker Python SDK) · python
from sagemaker.train.sft_trainer import SFTTrainer
from sagemaker.train.common import TrainingType

trainer = SFTTrainer(
    model=base_model_id,
    training_type=TrainingType.FULL,
    model_package_group=model_package_group_name,
    training_dataset=training_dataset,
    validation_dataset=val_dataset,
    s3_output_path=output_path,
    sagemaker_session=sess,
    role=role,
)
# Configure hyperparameters as needed
trainer.hyperparameters.learning_rate = 2e-5
trainer.hyperparameters.global_batch_size = 8
trainer.hyperparameters.max_epochs = 2
trainer.hyperparameters.lr_warmup_steps_ratio = 0.1
trainer.train(wait=False)

AWSによると、LoRAに切り替えるにはTrainingType.FULLをTrainingType.LORAに変えるだけで、他のコードは変更不要です。

よくある質問

この機能は正式提供ですか?日本で使えますか?

AWSの記事は、SageMaker AI Serverless Model CustomizationがFFTに「対応した」と述べるのみで、プレビューかどうかも、料金や提供リージョンも示していません。そのため日本のリージョンで使えるかは確認できません。AWSの公式ドキュメントをご確認ください。

FFTは必ずLoRAより優れていますか?

いいえ。AWSは、FFTは複雑なタスクや大規模で高品質なデータセットで優れた性能を示すとしていますが、ある比較ではLoRAのLLM-as-Judgeスコアがわずかに高く(81.5%対79.5%)、FFTはハイパーパラメータに非常に敏感だとしています。

破滅的忘却とは何ですか?

AWSの説明では、FFTはモデルの全パラメータを変更するため、狭い領域に過度に寄せると、もとの幅広い能力を忘れることがあります。AWSはMMLUで、ファインチューニング前後の汎用知識の保持状況を追跡しています。

自分でGPUを用意する必要はありますか?

AWSによれば不要です。このサービスではGPUの用意、クラスター構築、分散学習の設定は要らず、計算資源とチェックポイントはサービスが自動で処理します。

このトピックの最新ニュースを見る

この記事が役に立ったら、必要な方にシェアしてください

LINEで送る

出典

上記の参考資料および記載の確認日時点の情報をもとに整理しています。料金・時刻・機能・利用規約は変更される場合があるため、ご旅行や予約・購入の前には該当する公式サイトで最新情報をご確認ください。

ライフスタイル