生活分享
神经网络(Neural Network)是什么:由层与权重组成、能从数据学习的函数
神经网络是由多层简单单元组成的函数:单元做加权求和,多半再经过非线性变换,权重由数据调整。用双开关走廊灯的手算示例,说明前向计算、损失、反向传播与梯度下降,区分训练与推理,并厘清参数数量、神经元数量与能力的差别,以及它与深度学习、Transformer 的关系。
阅读时间约 8 分钟

目录
神经网络是机器学习机器学习(Machine Learning)是什么机器学习通过数据调整模型,让它对未见过的输入做出预测或生成内容。本文用早餐店备料预估的例子,说明特征、标签、训练与测试如何配合,辨别监督学习、无监督学习和强化学习,并解释数据泄漏、过拟合与环境变化的影响。读完能看懂模型为何需要保留测试数据,也能用具体问题判断一个看似很准的预测是否值得相信。阅读全文中的一种模型:它把输入一层一层转成输出,每个单元先做加权求和,通常再经过一道非线性变换。网络能做什么,取决于一组叫权重的数字;这些数字不是人逐一写入,而是用数据反复调整出来的。
本文用“两个开关控制一盏灯”的小任务,手算一次前向计算与一步权重更新,说明训练与使用为什么是两个阶段,并交代生物神经元的比喻只用到哪里。示例的数字是用于手算教学的设定,没有实际训练过。
单元只做两件事:加权求和与变换
根据 Google 机器学习术语表,神经元做两步:把每个输入乘以权重再求和,再把总和交给激活函数(activation function,也常译作激励函数)。偏置是另一个由训练决定的常数。单元排列成层:输入层、输出层,以及夹在中间、值不直接对外的隐藏层。
生物神经元的比喻要放对位置。Rosenblatt 把感知器(perceptron)说成假设的神经系统或机器,目的是说明智能系统的基本性质,不深陷于特定生物体中往往未知的条件;Google 术语表则说这种单元“模仿”脑中神经元的行为。但两边给出的运作定义,都只是求和后再做一次变换。像不像真实神经元要靠神经科学证据回答,这里只把它当作命名的由来。
从感知器到多层网络:中间层会不会学习
Rosenblatt 的感知器靠奖惩调整单元的“值”,他自己也写下了限制:识别刺激之间的关系会变得极难。Rumelhart 等人指出,感知器中间那层的连接是预先固定的,不算会学习的隐藏单元;他们的反向传播让隐藏单元自己学出需要的特征。LeCun 等人补充,这个方法在 1970 到 1980 年代被多组研究者各自发现。
为什么一定要有非线性变换
Google 教材演示过:加了隐藏层,但单元只做加权求和,整个网络仍是线性的,因为线性接线性还是线性,多加几层也学不到非线性关系。所以隐藏层的单元后面要接非线性的激活函数;输出层接不接,取决于任务,下面的示例就没接。
常见的有 sigmoid、tanh 与 ReLU,ReLU 是输入小于 0 就输出 0,否则原样输出。LeCun 等人 2015 年写到 ReLU 在多层网络中通常学得较快,Google 教材至今仍建议先试 ReLU。Cybenko(1989)证明,具有单一隐藏层、连续 sigmoid 型非线性、有限个单元的前馈网络,能把单位超立方体上的连续函数逼近到任意精度;这是“能表示”,训练能不能找到是另一回事。
示例:两个开关控制一盏灯
示例(未实测,手算):走廊两端各有开关 a 与 b,向上记 1、向下记 0,恰好一个向上灯才亮。(1,0) 与 (0,1) 要输出 1,(0,0) 与 (1,1) 要输出 0。只靠一个加权求和后与阈值比较的单元做不到:把两个该亮的组合相加、两个该灭的组合相加,会得到互相矛盾的不等式。
网络采用 2 个输入、2 个隐藏神经元、1 个输出,共 9 个参数。手动挑选权重:隐藏单元一的权重为 1、1,偏置为 0;隐藏单元二的权重为 1、1,偏置为 −1,两者都用 ReLU;输出的权重为 1 与 −2,偏置为 0,不加激活函数。
- (0,0):隐藏值为 0 与 0,输出为 0,灯灭。
- (1,0) 或 (0,1):隐藏值为 1 与 0,输出为 1,灯亮。
- (1,1):隐藏值为 2 与 1,输出为 2 − 2 = 0,灯灭。
权重是手动挑选的;真实训练从随机权重开始,答案也不止一组。
训练:损失、反向传播与梯度下降
训练是反复执行四步:
- 前向计算:用当前权重算出预测。
- 损失:衡量预测离答案有多远;Rumelhart 等人用 E = ½ ΣΣ (y − d)²,对每个样本的每个输出求和,y 是输出、d 是期望值。
- 反向传播:用链式法则从输出往回算,每个权重变动一点,损失会增减多少(梯度);通俗地说,是问每个权重该为误差负多少责任。
- 梯度下降:把权重向梯度的反方向改一小步,步幅由学习率决定;学习率是人为设定的超参数。
接上例(示例,手算),隐藏层不变,假设输出层权重还没调好,是 1 与 −1.2、偏置为 0:输入 (1,1) 时隐藏值为 2 与 1,输出为 0.8,期望为 0,损失为 0.32。损失对输出的变化率是 0.8,乘以各自流过的隐藏值,两个权重的梯度是 1.6 与 0.8,偏置的梯度是 0.8。为了方便计算,这一步只改输出层:学习率取 0.1,权重变成 0.84 与 −1.28、偏置变成 −0.08,输出降到 0.32。实际训练时,隐藏层的权重也在同一步更新,要把误差乘以输出权重、再看 ReLU 有没有激活,一路往回传,这就是“反向”;连隐藏层一起改,算出的数字会和这里不同。
但这一步也影响其他输入:(0,1) 原本输出 1,只改输出层后变成 0.76。所有输入共用权重,改一个样本会影响其他样本,所以要看一批样本的平均梯度,小步重复许多轮;LeCun 等人所说的随机梯度下降,每次只用一小批样本估计梯度。
训练完成后权重固定,使用时只做前向计算,不算损失、不改权重。Google 术语表说,训练是确定权重,推理推论(Inference)是什么:模型训练完成后,每次回答都在做的计算推论是用已训练好的模型处理新输入、生成输出的过程,权重在这个阶段固定不变。内容拆解语言模型推论的两个阶段:读入提示(prefill)与逐个生成(decode),说明首个 token 时间、完整回答时间与吞吐量的区别,区分推论(inference)与推理(reasoning)、云端与本地,并看懂批处理、量化与缓存各自节省在哪里。阅读全文(inference)是用学好的权重做预测。之后如果要更新权重,就是另一次训练。
阅读完整文字说明
上方是训练:前向计算、损失、反向传播、梯度下降四步反复执行,每一轮把新权重写入中间的权重与偏置。以两个输入、两个隐藏神经元、一个输出的小网络为例,共有九个参数。下方是推理:新输入进来,前向计算只读取已固定的权重,产生输出,不计算损失,也不改权重。
参数、神经元与能力是三件事
上例只有 3 个会计算的单元,却有 9 个参数:每个隐藏神经元有 2 个权重加 1 个偏置,输出单元也是 2 加 1。隐藏层如果增加到 100 个神经元,参数就是 100 × (2 + 1) + (100 + 1) = 401。Google 术语表把参数定义为训练中学到的权重与偏置,学习率则是人为给定的超参数;详见模型参数模型参数(Model Parameters)是什么模型参数是训练时调整、用来把输入转成输出的数值,例如权重与偏置。本文用简单算式示例说明参数如何影响预测,区分模型参数、训练超参数、提示词与生成设置,并解释参数量、数值精度和激活参数为何是不同指标。读完能更准确地阅读模型规格,理解参数增加不等于知识逐条增加,也不代表每次聊天都在重新训练模型。阅读全文。
参数多不代表能力强,还要看架构、训练数据与损失的设计。LeCun 等人的综述提醒,模型好不好要看它在训练时没见过的测试数据上的表现,也就是泛化能力;Cybenko 的结果也只说明足够大的网络能够表示,不保证训练能找到。看到神经元、参数、层数,应再问:在你的任务、没见过的数据上表现如何。
| 术语 | 示例中 | 常见误解 |
|---|---|---|
| 神经元 | 会计算的单元 | 等同于生物神经细胞 |
| 权重与偏置 | 9 个要学习的数字 | 人手写的规则 |
| 激活函数 | 隐藏层后的 ReLU | 可有可无 |
| 学习率 | 0.1,由人设定 | 网络自己学出来 |
与深度学习、Transformer 的关系
Google 术语表称隐藏层多于一层的神经网络为深度模型;LeCun 等人把深度学习定义为叠加多个简单非线性模块、由数据学出各层表示的方法。简单说,神经网络是结构,深度学习深度学习(Deep Learning)是什么深度学习利用多层神经网络,从数据中学习不同层次的表示,常用于图像、语音与文本任务。本文以回收物照片分类为例,说明隐藏层、非线性、训练和推理的作用,解释模型可能记住背景而非物品,以及数据、算力与可解释性的取舍。读完能分辨深度学习和一般机器学习的关系,也能用新的拍摄条件检查一个模型是否真的学到了有用模式。阅读全文是用多层结构学出表示的方法。各家的界限略有不同:Google 术语表把神经网络定义为“至少含一个隐藏层”的模型,按这个说法,输入直接连接输出的模型不算;Rumelhart 等人则认为原始感知器的中间层连接固定,不算真正的隐藏单元。本文开头的说法不以隐藏层划界,阅读时先确认对方用的是哪一种定义。
Transformer 是网络的一种排列方式。Vaswani 等人(2017)称它为完全建立在注意力机制上的网络架构,每层除了自注意力,还有由两个线性变换夹一个 ReLU 组成的前馈网络,正是前面的加权求和加非线性。后来的语言模型是否采用、怎么修改,要看各自的技术文档。所以神经网络是上位类别,聊天机器人只是一种用途,用于照片分类的小网络也是。
想看其他术语,可以从AI 术语总索引找起。
觉得这篇整理实用吗?分享给需要的朋友
同主题延伸阅读
生活分享
代理式检索增强生成(Agentic RAG):何时需要再查一次
代理式检索增强生成让模型参与检索决策,根据问题与已找到的证据选择数据来源、改写查询或继续补查。本文采用 LangGraph 文档中的具体流程,以比较场地借用条件示范它和固定式 RAG 的差别,并说明停止条件、权限、查询记录及成本控制。读完能判断任务需要动态探索,还是用可预测的固定流程就足够。
生活分享
图谱检索增强生成(GraphRAG):从关系看懂整批文档
GraphRAG 把实体及其关系纳入检索,帮助回答跨文档的关联与整体主题。本文以 Microsoft 原始论文及官方文档为范围,拆解实体抽取、社区摘要、局部搜索和全局搜索,以地方活动记录示范不同问题需要不同路径。也说明图谱漏连、名称误合并与摘要失真如何影响答案,避免把一张漂亮的关系图误认为已验证的事实。
生活分享
知识图谱(Knowledge Graph):把事物与关系说清楚
知识图谱用实体及关系组织数据,让“谁参与什么、在哪里、何时发生”能沿链接查询。本文以社群活动数据演示实体识别、关系方向、来源与时间,介绍资源描述框架(RDF)和属性图的表示差异,也说明图谱不等于可视化或可信事实。读完能判断数据适不适合建图,并理解它如何与数据表、向量搜索及图谱检索增强生成(GraphRAG)搭配。
生活分享
混合搜索(Hybrid Search):兼顾精确字词与语义
混合搜索将全文搜索与向量等不同检索结果合并,兼顾精确代码和自然语言需求。本文用设备说明书查询拆解候选获取、去重、排名融合和重新排序,介绍倒数排名融合(RRF)如何用名次融合不同搜索结果,也提醒混合不保证全面更准。读完能用代码题、改写题和无答案题检查质量,并辨认权限、筛选与重复内容造成的偏差。
引用本文的文章
资料来源
- Rosenblatt 1958:感知器(《心理学评论》65(6),感知器原始论文)查证日期:
- Rumelhart、Hinton、Williams 1986:通过反向传播误差学习表示(《自然》323)查证日期:
- LeCun、Bengio、Hinton 2015:深度学习(《自然》521)查证日期:
- Cybenko 1989:通过 S 形函数的叠加进行逼近(《控制、信号与系统数学》2)查证日期:
- Vaswani 等人 2017:注意力就是你所需要的一切(arXiv:1706.03762,Transformer 原始论文)查证日期:
- Google 机器学习速成课程:神经网络(单元总览)查证日期:
- Google 机器学习速成课程:节点与隐藏层查证日期:
- Google 机器学习速成课程:激活函数查证日期:
- Google 机器学习速成课程:使用反向传播进行训练查证日期:
- Google 机器学习术语表(神经网络、神经元、权重、参数、反向传播等条目)查证日期:
本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。