ライフスタイル

推論(Inference)とは:モデルの学習後、回答するたびに行われる計算

推論は、学習済みのモデルで新しい入力を処理し、出力を生成する過程で、この段階では重みは固定されています。言語モデルの推論をプロンプトの読み込み(prefill)と逐次生成(decode)の二段階に分け、最初の token までの時間、回答完了までの時間、スループットの違いを説明します。推論(inference)と推理(reasoning)、クラウドとローカルを区別し、バッチ処理、量子化、キャッシュがそれぞれ何を節約するのかを解説します。

読了目安 11 分

LINEで送る
積み重なったプロンプトの文章が、重みを固定したモデルのブロックに入り、右側から小さなブロックが一つずつ出力される
画像:Mokaair (© Mokaair)
目次
  1. 1. 推論と学習は何が違うのか
  2. 2. 一回の回答の二段階:プロンプトを読み込み、一つずつ生成
  3. 3. 例:民宿アシスタントへの二通りの質問
  4. 4. 二種類の遅さ:最初の token までの時間と回答完了までの時間
  5. 5. コスト削減:バッチ処理、量子化、キャッシュ
  6. 6. クラウドとローカル:誰のハードウェアを使い、誰が順番を待つのか
  7. 7. 用語:推論、推理、推論時の計算

推論(inference)とは、学習済みのモデルで新しい入力を処理し、出力を生成することです。送信ボタンを押すたびに、モデルがプロンプトを読み込んでから最後の token を生成するまでの計算全体が推論に当たります。この間、重みなどのモデルパラメータは固定されており、重みの調整は学習で行います。よく混同されるもう一つの言葉が推理(reasoning)で、モデルが複数の段階を踏んで導出する能力を指します。当サイトでは inference を「推論」、reasoning を「推理」と表記しており、その理由は記事の末尾で説明します。

この記事では架空の民宿予約アシスタントを例に、一回の回答がどう二段階に分かれるのか、なぜ通常は出力が長いほど時間がかかるのか、二種類の遅延指標はどう違うのか、バッチ処理、量子化、キャッシュがそれぞれどの部分を節約するのかを説明します。主な根拠は Google の用語集、二編の論文、各社の公式ドキュメントです。料金や速度の数値は、モデルやハードウェアによって変わるため掲載しません。

推論と学習は何が違うのか

Google の機械学習用語集では、従来の機械学習における推論を、学習済みモデルをラベルの付いていないサンプルに適用して予測することと定義しています。大規模言語モデルでは、学習済みモデルを使い、入力されたプロンプトに対する応答を生成することです。学習はモデルのパラメータ(重みとバイアス)を決める過程で、システムが事例を読み込み、パラメータを段階的に調整します。境界は、パラメータが変更されるかどうかにあります。用語集には、統計学では inference の意味が少し異なるとも記されています。ここでは機械学習での意味を使います。

推論時には、今回の質問によって重みが変わることはありません。プロンプトにいくつかの例を入れると、モデルはその形式に沿って回答できますが、その例は今回の計算への入力にすぎません。サービス提供者が会話を保存し、後日学習に使うかどうかは、製品の利用規約や設定の問題であり、推論そのものには含まれません。

Google の機械学習用語集と Pope ほかの論文に基づいて整理。2026 年 10 月に確認。
観点学習推論
重み段階的に調整固定され、計算にのみ使用
実行頻度モデルの完成前やバージョン更新時に集中リクエストごとに計算
コスト構造モデル完成前に投入する計算とデータリクエスト数と長さに応じて積み上がる

一回の回答の二段階:プロンプトを読み込み、一つずつ生成

大規模言語モデルの一回の推論は二段階に分かれます。第一段階はプロンプトの読み込み(prefill)です。プロンプトの token はすべて既知なので、まとめて並列処理でき、同時に最初の新しい token の確率を計算し、各位置の中間結果(key と value、合わせて KV キャッシュ)を保存します。vLLM の論文ではこの段階を prompt phase、Pope ほかは prefill と呼んでいます。

第二段階は逐次生成(decode)です。各ステップでは直前の新しい token だけをモデルに入力し、次の token を計算します。終了記号または長さの上限に達するまで、これを繰り返します。それ以前の token の KV キャッシュは保存済みなので、各ステップでは新しい一つ分だけを追加計算します。ただし、次のステップは前のステップを待つ必要があり、並列化できません。vLLM の論文は、この段階では GPU の計算能力を使い切るのが難しく、メモリの読み出しに制約され、単一リクエストの遅延の大部分を占めると指摘しています。

これが、出力が長いほど時間がかかる理由です。token が多いほど繰り返すステップも増え、各ステップでモデルの重みと KV キャッシュを読み出す必要があります。入力が長くなると、主に一度だけ行う prefill の負荷が増え、その後の各ステップで読み出す KV キャッシュも大きくなります。OpenAI の遅延ガイドも、token の生成はほぼ常に最も遅延が大きいステップであり、入力は極端に長くない限り、通常は主な原因ではないとしています。

待ち行列とネットワーク、プロンプトの読み込み(prefill)、token の逐次生成(decode)を示す時間軸。上に回答完了までの時間、下に最初の token までの時間と生成時間を表示
回答完了までの時間は、最初の token までの時間と生成時間の合計です。入力の長さは主に前半、出力の長さは主に後半に影響します。 · 画像:Mokaair (© Mokaair)
詳しい説明を読む

時間軸の図。リクエストはまず待ち行列とネットワークを経て、プロンプトの読み込み(prefill)に進み、プロンプト全体をまとめて並列処理します。次に逐次生成(decode)に入り、終了まで各ステップで token を一つずつ生成します。最初の token までの時間には、待ち行列とネットワーク、プロンプトの読み込みが含まれます。生成時間は、その後の token を一つずつ生成する時間です。両者の合計が回答完了までの時間になります。入力が長いほど、主に最初の token までの時間が延び、出力が長いほど、主に生成時間が延びます。重みは全過程で固定され、更新されません。

例:民宿アシスタントへの二通りの質問

以下は実測していない例です。質問 A:長い宿泊案内を貼り付けて「チェックアウトは何時ですか」と尋ねます。入力は長く、出力は一文です。質問 B:資料を貼り付けず、周辺の散策について非常に長い紹介文を書くよう求めるだけです。入力は短く、出力は長くなります。A は案内を先に読み終える必要があるため、最初の文字が表示されるまで時間がかかる一方、回答はすぐに終わると予想されます。B は最初の文字がすぐに表示されますが、回答完了までの時間の大部分は、大量の token を一つずつ生成する処理にかかります。

実測結果が予想と異なる場合は、このモデルを無理に当てはめないでください。最初の token までの時間が長い原因は、待ち行列やネットワークの往復、想像以上に長いプロンプトかもしれません。生成が遅い原因は、同時に処理するリクエストが多いことや、出力が予想より長いことかもしれません。NVIDIA のドキュメントによると、TTFT には通常、待ち行列、prefill、ネットワークの遅延が含まれます。どこが遅いのかを知るには、区間ごとに測る必要があります。

二種類の遅さ:最初の token までの時間と回答完了までの時間

最初の token までの時間(time to first token、TTFT)は、リクエストを送信してから最初の token を受信するまでの時間です。回答完了までの時間(end-to-end latency)は最後の token までを測り、NVIDIA のドキュメントでは TTFT と生成時間の合計とされています。Anthropic のドキュメントは、ストリーミング出力では TTFT が特に重要だと指摘しています。ストリーミングにより利用者は冒頭から先に見ることができ、体感速度は改善しますが、token の総数は変わりません。

スループット(throughput)は、システム全体で一秒間に生成できる token 数を見る指標です。NVIDIA のドキュメントでは、同時に処理するリクエストが増えると、リソースを使い切るまではシステム全体のスループットが上がる一方、利用者一人ひとりの速度は下がると説明されています。つまり、遅延とスループットはトレードオフの関係にあります。

コスト削減:バッチ処理、量子化、キャッシュ

リクエストごとのコストは、ハードウェアの時間をどれだけ占有するかによって生じます。Pope ほかは、token 当たりのチップ使用時間または金額で測っています。複数のアクセラレータチップ上での超大規模 Transformer の推論を分析し、バッチが小さいと遅延を短くできる一方、token 当たりのコストは高くなり、オフライン処理ではバッチを大きくするのが通常は最も経済的だと指摘しています。よく使われるコスト削減策は三種類あり、ここでは簡単に挙げます。

  • バッチ処理(batching):複数のリクエストをまとめて計算します。vLLM の論文は、KV キャッシュは大きく、動的に増減するため、メモリの無駄がバッチサイズを制限すると指摘し、その対策として PagedAttention を提案しています。
  • 量子化(quantization):重みをより低い精度の数値で表し、必要なメモリを減らします。Pope ほかの実験では、bfloat16 の重みと int8 に量子化した重みを比較しています。
  • キャッシュ(caching):同じ先頭部分の KV キャッシュなど、計算済みの結果を再利用します。OpenAI のガイドは、変動する内容をプロンプトの後半に置くことを推奨しています。

詳しくは量子化(Quantization)とプロンプトキャッシュ(Prompt Caching)を参照してください。プロンプトキャッシュで省けるのはプロンプトの読み込み部分だけで、逐次生成は短縮されません。

クラウドとローカル:誰のハードウェアを使い、誰が順番を待つのか

クラウド推論はサービス提供者のクラスタで実行され、多数の利用者に同時に対応します。リクエストは順番を待ち、他人のリクエストとまとめてバッチ処理されることもあり、ネットワークの往復も必要です。これらはすべて待ち時間に含まれます。調整できるのは主に、プロンプトと出力の長さ、ストリーミングの有無、モデルのサイズで、Anthropic と OpenAI の遅延に関するドキュメントもこれらを挙げています。

ローカル推論では通常、ネットワークの往復や他人のリクエストの影響はなくなりますが、計算資源とメモリを自分で用意する必要があり、モデルのサイズは端末によって制限されます。llama.cpp プロジェクトは、さまざまなハードウェアでのローカル推論とクラウド推論を目標に掲げ、メモリ使用量を減らす整数量子化を提供しています。どちらにも prefill と decode があり、違いはリソースを誰が用意し、何人で共有するかです。

用語:推論、推理、推論時の計算

繁体字中国語では、inference と reasoning の訳語が統一されていません。Google の機械学習用語集の繁体字中国語版では inference を「推論」と訳し、モデルの導出を「推理」と表現しています。一方、国家教育研究院「楽詞網」の分野別用語集には両方の訳があり、統計学用語では「推論」、電子計算機用語では「推理」、inference engine は「推理エンジン」または「推理機」と訳されています。このため、「推論=inference、推理=reasoning」は二つの概念を区別するための当サイトの用法であり、辞書で定められたものではありません。「推理エンジン」という言葉を見たら、文脈を確認する必要があります。

関連する概念:推理モデル(Reasoning Model)は、複数の段階を要する問題向けに設計されたモデルの一種で、回答時に行うのはやはり推論です。推論時の計算(Test-time Compute)は、推論の段階でより多くの計算資源を投入する戦略です。その他の用語はAI 用語総索引をご覧ください。

この記事が役に立ったら、必要な方にシェアしてください

LINEで送る
  • ライフスタイル

    エージェント型検索拡張生成(Agentic RAG):いつ再検索が必要か

    エージェント型検索拡張生成では、モデルが検索の判断に関与し、質問とすでに得られた根拠に応じて情報源の選択、クエリの書き換え、追加検索を行います。本記事では LangGraph のドキュメントにある具体的なフローを採用し、会場の利用条件の比較を例に固定型 RAG との違いを示すとともに、停止条件、権限、検索履歴、コスト管理を説明します。読後には、タスクに動的な探索が必要か、予測可能な固定フローで十分かを判断できるようになります。

  • ライフスタイル

    グラフ検索拡張生成(GraphRAG):関係から文書群全体を読み解く

    GraphRAG はエンティティとその関係を検索に取り入れ、文書をまたぐ関連性や全体のテーマについての回答を支援します。本記事では Microsoft の原論文と公式ドキュメントを対象に、エンティティ抽出、コミュニティ要約、ローカル検索、グローバル検索を解説し、地域イベントの記録を例に、問いによって異なる経路が必要なことを示します。また、グラフの接続漏れ、名称の誤統合、要約の歪みが回答にどう影響するかを説明し、見栄えのよい関係図を検証済みの事実と取り違えないようにします。

  • ライフスタイル

    ナレッジグラフ(Knowledge Graph):事物と関係を明確にする

    ナレッジグラフはエンティティと関係でデータを整理し、「誰が何に参加し、どこで、いつ起きたか」をリンクに沿って検索できるようにします。本記事ではコミュニティイベントのデータを例に、エンティティの識別、関係の方向、出典、時間を説明します。リソース記述フレームワーク(RDF)とプロパティグラフの表現の違いを紹介し、グラフが可視化や信頼できる事実と同じではないことも解説します。読めば、データがグラフ化に適しているかを判断でき、テーブル、ベクトル検索、グラフ検索拡張生成(GraphRAG)との組み合わせ方も理解できます。

  • ライフスタイル

    ハイブリッド検索(Hybrid Search):語句の正確さと意味を両立

    ハイブリッド検索は、全文検索やベクトル検索などの異なる検索結果を統合し、正確なコードと自然言語による要求の両方に対応します。本記事では機器の取扱説明書の検索を例に、候補の取得、重複排除、順位融合、再ランキングを解説します。逆数順位融合(RRF)が順位を使って異なる検索結果を統合する仕組みを紹介するとともに、組み合わせればあらゆる面で精度が上がるわけではないことも説明します。コードを含む質問、言い換えた質問、答えのない質問で品質を確認し、権限、フィルター、重複コンテンツによる偏りを見分けられるようになります。

ライフスタイル