生活分享
推论(Inference)是什么:模型训练完成后,每次回答都在做的计算
推论是用已训练好的模型处理新输入、生成输出的过程,权重在这个阶段固定不变。内容拆解语言模型推论的两个阶段:读入提示(prefill)与逐个生成(decode),说明首个 token 时间、完整回答时间与吞吐量的区别,区分推论(inference)与推理(reasoning)、云端与本地,并看懂批处理、量化与缓存各自节省在哪里。
阅读时间约 7 分钟

目录
推论(inference)是用训练好的模型处理新的输入、生成输出。你每点击一次提交,模型从读入提示词到生成最后一个 token,整段计算都是推论;权重等模型参数在这段时间固定不变,调整权重是训练的事。另一个常被混用的词是推理(reasoning),指模型多步推导的能力;本站用“推论”对应 inference、“推理”对应 reasoning,原因在文末说明。
本文用虚构的民宿预订助手,说明一次回答如何分为两个阶段、为什么输出越长通常耗时越久、两种延迟指标的区别,以及批处理、量化、缓存各自节省哪一部分。主要依据 Google 的术语表、两篇论文与各家官方文档;不列价格或速度数字,因为它们会随模型与硬件改变。
推论和训练有什么区别
Google 机器学习术语表的定义是:传统机器学习中,推论是把训练好的模型应用于未标记样本以进行预测;在大语言模型中,则是用训练好的模型针对输入提示生成回应。训练是确定模型参数(权重与偏置)的过程,系统读入示例并逐步调整参数。分界在于参数有没有被改动。术语表也注明,统计学中的 inference 含义略有不同;这里用的是机器学习中的含义。
推论时,权重不会因为你的这一次提问而改变。在提示词里放几个示例,模型能按格式回答,但示例只是这次计算的输入。服务商是否保存对话、日后用于训练,是产品条款与设置的问题,不属于推论本身。
| 维度 | 训练 | 推论 |
|---|---|---|
| 权重 | 逐步调整 | 固定,只用于计算 |
| 发生频率 | 集中在模型完成前,或更新版本时 | 每个请求都需要计算 |
| 成本结构 | 模型完成前的计算与数据投入 | 随请求数量与长度累加 |
一次回答的两个阶段:读入提示,再逐个生成
大语言模型的一次推论分为两个阶段。第一阶段是读入提示(prefill):提示词的 token 全部已知,可以一起并行处理,同时算出第一个新 token 的概率,并保存每个位置的中间结果(key 与 value,合称 KV 缓存)。vLLM 论文称这一阶段为提示阶段(prompt phase),Pope 等人称其为 prefill。
第二阶段是逐个生成(decode):每一步只把上一个新 token 送进模型、算出下一个,直到遇到结束符号或长度上限。前面 token 的 KV 缓存已保存好,每步只补算新的一个,但后一步要等前一步,无法并行。vLLM 论文指出,这一阶段不易充分利用 GPU 的计算能力、受内存读取限制,并占单个请求延迟的大部分。
这就是输出越长耗时越久的原因:token 越多,需要重复的步数越多,每步都要读取模型权重与 KV 缓存。输入变长则主要增加那一次 prefill 的计算负担,也让之后每步要读取的 KV 缓存变大。OpenAI 的延迟指南同样指出,生成 token 几乎总是延迟最高的一步,输入除非非常长,通常不是主因。
阅读完整文字说明
时间轴图。请求先经过排队与网络,接着读入提示(prefill),整份提示一次并行处理,再进入逐个生成(decode),一步生成一个 token,直到结束。首个 token 时间涵盖排队与网络、读入提示;生成时间涵盖其后逐个生成的 token;两者相加是完整回答时间。输入越长,主要拉长首个 token 时间;输出越长,主要拉长生成时间;权重全程固定,不更新。
示例:民宿助手的两种问法
以下是示例,未经实测。问法 A:粘贴很长的入住须知,问“几点退房”,输入长、输出一句。问法 B:不粘贴资料,只要求写一篇很长的周边散步介绍,输入短、输出长。预计 A 的第一个字较晚出现,因为要先读完须知,但很快就能答完;B 的第一个字很快出现,完整回答时间却主要花在逐个生成大量 token 上。
如果实测与预期不同,别硬套这个模型。首个 token 时间偏长,可能是排队、网络往返,或提示词比想象的长;生成很慢,可能是同时处理的请求多,或输出比预期长。NVIDIA 的文档指出,TTFT 通常包含排队、prefill 与网络延迟;要知道慢在哪里,需要分段测量。
两种慢:首个 token 时间与完整回答时间
首个 token 时间(time to first token,TTFT)是从提交请求到收到第一个 token;完整回答时间(端到端延迟,end-to-end latency)计算到最后一个 token,NVIDIA 的文档将其写为 TTFT 加生成时间。Anthropic 的文档指出,TTFT 在流式输出时特别重要:流式输出让用户先看到开头,改善感受到的速度,但 token 总数没有变。
吞吐量(throughput)看整个系统每秒能生成多少 token。NVIDIA 的文档说明,同时处理的请求变多,系统总吞吐量会上升,直到资源被充分利用,但每位用户各自的速度会下降。所以延迟与吞吐量之间需要权衡。
降低成本:批处理、量化与缓存
每次请求的成本,来自它占用多少硬件时间;Pope 等人以每个 token 的芯片时间或金额衡量。他们分析超大型 Transformer 在多颗加速芯片上的推论时指出,批次小,延迟可以较低,但每个 token 的成本较高;离线处理时增大批次通常最划算。常见的降本做法有三类,这里仅作列举:
- 批处理(batching):将多个请求合并计算。vLLM 论文指出,KV 缓存很大且动态增减,浪费的内存会限制批次大小,因此提出 PagedAttention。
- 量化(quantization):用较低精度的数值表示权重,减少内存需求。Pope 等人的实验比较了 bfloat16 与量化为 int8 的权重。
- 缓存(caching):复用已算好的结果,例如相同前缀的 KV 缓存,OpenAI 的指南建议把会变动的内容放在提示词后半部分。
详见量化(Quantization)与提示词缓存(Prompt Caching);提示词缓存只节省读入提示阶段的时间,不缩短逐个生成阶段的时间。
云端与本地:谁的硬件,谁在排队
云端推论在服务商的集群上执行,同时服务很多人:请求需要排队、可能与他人的请求合并为一个批次,还要经过网络往返,这些都算进你的等待时间。你能调整的多半是提示词与输出长度、是否使用流式输出、模型大小,Anthropic 与 OpenAI 的延迟文档都列出了这些。
本地推论通常少了网络往返与他人的请求,但计算资源与内存要自备,模型大小受设备限制。llama.cpp 项目自述以各种硬件上的本地与云端推论为目标,提供整数量化以降低内存用量。两边都有 prefill 与 decode,区别在于资源由谁提供、多少人共用。
用语:推论、推理与推论时计算
繁体中文里,inference 与 reasoning 的译名并不统一。Google 机器学习术语表繁体中文版把 inference 译为推论,并以“推理”描述模型的推导;国家教育研究院乐词网的各学科词表则两种译法都有:统计学名词译为推论,电子计算机名词译为推理,inference engine 是“推理引擎”或“推理机”。所以“推论=inference、推理=reasoning”是本站为区分两件事而采用的用法,不是词典规定;读到“推理引擎”要看上下文。
相关概念:推理模型(Reasoning Model)是针对多步问题设计的一类模型,回答时做的仍是推论;推论时计算(Test-time Compute)是在推论阶段投入更多算力的策略。其他术语见AI 术语总索引。
觉得这篇整理实用吗?分享给需要的朋友
同主题延伸阅读
生活分享
代理式检索增强生成(Agentic RAG):何时需要再查一次
代理式检索增强生成让模型参与检索决策,根据问题与已找到的证据选择数据来源、改写查询或继续补查。本文采用 LangGraph 文档中的具体流程,以比较场地借用条件示范它和固定式 RAG 的差别,并说明停止条件、权限、查询记录及成本控制。读完能判断任务需要动态探索,还是用可预测的固定流程就足够。
生活分享
图谱检索增强生成(GraphRAG):从关系看懂整批文档
GraphRAG 把实体及其关系纳入检索,帮助回答跨文档的关联与整体主题。本文以 Microsoft 原始论文及官方文档为范围,拆解实体抽取、社区摘要、局部搜索和全局搜索,以地方活动记录示范不同问题需要不同路径。也说明图谱漏连、名称误合并与摘要失真如何影响答案,避免把一张漂亮的关系图误认为已验证的事实。
生活分享
知识图谱(Knowledge Graph):把事物与关系说清楚
知识图谱用实体及关系组织数据,让“谁参与什么、在哪里、何时发生”能沿链接查询。本文以社群活动数据演示实体识别、关系方向、来源与时间,介绍资源描述框架(RDF)和属性图的表示差异,也说明图谱不等于可视化或可信事实。读完能判断数据适不适合建图,并理解它如何与数据表、向量搜索及图谱检索增强生成(GraphRAG)搭配。
生活分享
混合搜索(Hybrid Search):兼顾精确字词与语义
混合搜索将全文搜索与向量等不同检索结果合并,兼顾精确代码和自然语言需求。本文用设备说明书查询拆解候选获取、去重、排名融合和重新排序,介绍倒数排名融合(RRF)如何用名次融合不同搜索结果,也提醒混合不保证全面更准。读完能用代码题、改写题和无答案题检查质量,并辨认权限、筛选与重复内容造成的偏差。
引用本文的文章
资料来源
- Google:机器学习术语表(inference、training 等条目)查证日期:
- Google:机器学习术语表(繁体中文版,inference 译为推论)查证日期:
- Kwon 等:利用 PagedAttention 实现大语言模型服务的高效内存管理(vLLM,SOSP 2023)查证日期:
- Pope 等:高效扩展 Transformer 推论(2022)查证日期:
- NVIDIA:NIM LLMs 基准测试,指标(TTFT、ITL、吞吐量的定义)查证日期:
- Anthropic:降低延迟(官方文档)查证日期:
- OpenAI:延迟优化(官方文档)查证日期:
- llama.cpp:项目说明(本地推论的官方实现文档)查证日期:
- 国家教育研究院乐词网:inference 条目(各学科词表的译名对照)查证日期:
- 国家教育研究院乐词网:inference engine 精确检索结果(各词表译为推理引擎、推理机)查证日期:
本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。