生活分享

神经网络(Neural Network)是什么:由层与权重组成、能从数据学习的函数

神经网络是由多层简单单元组成的函数:单元做加权求和,多半再经过非线性变换,权重由数据调整。用双开关走廊灯的手算示例,说明前向计算、损失、反向传播与梯度下降,区分训练与推理,并厘清参数数量、神经元数量与能力的差别,以及它与深度学习、Transformer 的关系。

阅读时间约 8 分钟

LINE 分享
三排圆点以粗细不同的线连成网络,旁边有一颗球沿山谷滚向最低点
图片:Mokaair (© Mokaair)
目录
  1. 1. 单元只做两件事:加权求和与变换
  2. 2. 从感知器到多层网络:中间层会不会学习
  3. 3. 为什么一定要有非线性变换
  4. 4. 示例:两个开关控制一盏灯
  5. 5. 训练:损失、反向传播与梯度下降
  6. 6. 参数、神经元与能力是三件事
  7. 7. 与深度学习、Transformer 的关系

神经网络是中的一种模型:它把输入一层一层转成输出,每个单元先做加权求和,通常再经过一道非线性变换。网络能做什么,取决于一组叫权重的数字;这些数字不是人逐一写入,而是用数据反复调整出来的。

本文用“两个开关控制一盏灯”的小任务,手算一次前向计算与一步权重更新,说明训练与使用为什么是两个阶段,并交代生物神经元的比喻只用到哪里。示例的数字是用于手算教学的设定,没有实际训练过。

单元只做两件事:加权求和与变换

根据 Google 机器学习术语表,神经元做两步:把每个输入乘以权重再求和,再把总和交给激活函数(activation function,也常译作激励函数)。偏置是另一个由训练决定的常数。单元排列成层:输入层、输出层,以及夹在中间、值不直接对外的隐藏层。

生物神经元的比喻要放对位置。Rosenblatt 把感知器(perceptron)说成假设的神经系统或机器,目的是说明智能系统的基本性质,不深陷于特定生物体中往往未知的条件;Google 术语表则说这种单元“模仿”脑中神经元的行为。但两边给出的运作定义,都只是求和后再做一次变换。像不像真实神经元要靠神经科学证据回答,这里只把它当作命名的由来。

从感知器到多层网络:中间层会不会学习

Rosenblatt 的感知器靠奖惩调整单元的“值”,他自己也写下了限制:识别刺激之间的关系会变得极难。Rumelhart 等人指出,感知器中间那层的连接是预先固定的,不算会学习的隐藏单元;他们的反向传播让隐藏单元自己学出需要的特征。LeCun 等人补充,这个方法在 1970 到 1980 年代被多组研究者各自发现。

为什么一定要有非线性变换

Google 教材演示过:加了隐藏层,但单元只做加权求和,整个网络仍是线性的,因为线性接线性还是线性,多加几层也学不到非线性关系。所以隐藏层的单元后面要接非线性的激活函数;输出层接不接,取决于任务,下面的示例就没接。

常见的有 sigmoid、tanh 与 ReLU,ReLU 是输入小于 0 就输出 0,否则原样输出。LeCun 等人 2015 年写到 ReLU 在多层网络中通常学得较快,Google 教材至今仍建议先试 ReLU。Cybenko(1989)证明,具有单一隐藏层、连续 sigmoid 型非线性、有限个单元的前馈网络,能把单位超立方体上的连续函数逼近到任意精度;这是“能表示”,训练能不能找到是另一回事。

示例:两个开关控制一盏灯

示例(未实测,手算):走廊两端各有开关 a 与 b,向上记 1、向下记 0,恰好一个向上灯才亮。(1,0) 与 (0,1) 要输出 1,(0,0) 与 (1,1) 要输出 0。只靠一个加权求和后与阈值比较的单元做不到:把两个该亮的组合相加、两个该灭的组合相加,会得到互相矛盾的不等式。

网络采用 2 个输入、2 个隐藏神经元、1 个输出,共 9 个参数。手动挑选权重:隐藏单元一的权重为 1、1,偏置为 0;隐藏单元二的权重为 1、1,偏置为 −1,两者都用 ReLU;输出的权重为 1 与 −2,偏置为 0,不加激活函数。

  • (0,0):隐藏值为 0 与 0,输出为 0,灯灭。
  • (1,0) 或 (0,1):隐藏值为 1 与 0,输出为 1,灯亮。
  • (1,1):隐藏值为 2 与 1,输出为 2 − 2 = 0,灯灭。

权重是手动挑选的;真实训练从随机权重开始,答案也不止一组。

训练:损失、反向传播与梯度下降

训练是反复执行四步:

  1. 前向计算:用当前权重算出预测。
  2. 损失:衡量预测离答案有多远;Rumelhart 等人用 E = ½ ΣΣ (y − d)²,对每个样本的每个输出求和,y 是输出、d 是期望值。
  3. 反向传播:用链式法则从输出往回算,每个权重变动一点,损失会增减多少(梯度);通俗地说,是问每个权重该为误差负多少责任。
  4. 梯度下降:把权重向梯度的反方向改一小步,步幅由学习率决定;学习率是人为设定的超参数。

接上例(示例,手算),隐藏层不变,假设输出层权重还没调好,是 1 与 −1.2、偏置为 0:输入 (1,1) 时隐藏值为 2 与 1,输出为 0.8,期望为 0,损失为 0.32。损失对输出的变化率是 0.8,乘以各自流过的隐藏值,两个权重的梯度是 1.6 与 0.8,偏置的梯度是 0.8。为了方便计算,这一步只改输出层:学习率取 0.1,权重变成 0.84 与 −1.28、偏置变成 −0.08,输出降到 0.32。实际训练时,隐藏层的权重也在同一步更新,要把误差乘以输出权重、再看 ReLU 有没有激活,一路往回传,这就是“反向”;连隐藏层一起改,算出的数字会和这里不同。

但这一步也影响其他输入:(0,1) 原本输出 1,只改输出层后变成 0.76。所有输入共用权重,改一个样本会影响其他样本,所以要看一批样本的平均梯度,小步重复许多轮;LeCun 等人所说的随机梯度下降,每次只用一小批样本估计梯度。

训练完成后权重固定,使用时只做前向计算,不算损失、不改权重。Google 术语表说,训练是确定权重,(inference)是用学好的权重做预测。之后如果要更新权重,就是另一次训练。

上方是训练循环:前向计算、损失、反向传播、梯度下降并重复;中间是权重与偏置;下方是推理,只读取权重做前向计算
训练反复改写中间的权重,推理只读取它。 · 图片:Mokaair (© Mokaair)
阅读完整文字说明

上方是训练:前向计算、损失、反向传播、梯度下降四步反复执行,每一轮把新权重写入中间的权重与偏置。以两个输入、两个隐藏神经元、一个输出的小网络为例,共有九个参数。下方是推理:新输入进来,前向计算只读取已固定的权重,产生输出,不计算损失,也不改权重。

参数、神经元与能力是三件事

上例只有 3 个会计算的单元,却有 9 个参数:每个隐藏神经元有 2 个权重加 1 个偏置,输出单元也是 2 加 1。隐藏层如果增加到 100 个神经元,参数就是 100 × (2 + 1) + (100 + 1) = 401。Google 术语表把参数定义为训练中学到的权重与偏置,学习率则是人为给定的超参数;详见。

参数多不代表能力强,还要看架构、训练数据与损失的设计。LeCun 等人的综述提醒,模型好不好要看它在训练时没见过的测试数据上的表现,也就是泛化能力;Cybenko 的结果也只说明足够大的网络能够表示,不保证训练能找到。看到神经元、参数、层数,应再问:在你的任务、没见过的数据上表现如何。

概念对照;来源查证于 2026 年 10 月。
术语示例中常见误解
神经元会计算的单元等同于生物神经细胞
权重与偏置9 个要学习的数字人手写的规则
激活函数隐藏层后的 ReLU可有可无
学习率0.1,由人设定网络自己学出来

与深度学习、Transformer 的关系

Google 术语表称隐藏层多于一层的神经网络为深度模型;LeCun 等人把深度学习定义为叠加多个简单非线性模块、由数据学出各层表示的方法。简单说,神经网络是结构,是用多层结构学出表示的方法。各家的界限略有不同:Google 术语表把神经网络定义为“至少含一个隐藏层”的模型,按这个说法,输入直接连接输出的模型不算;Rumelhart 等人则认为原始感知器的中间层连接固定,不算真正的隐藏单元。本文开头的说法不以隐藏层划界,阅读时先确认对方用的是哪一种定义。

Transformer 是网络的一种排列方式。Vaswani 等人(2017)称它为完全建立在注意力机制上的网络架构,每层除了自注意力,还有由两个线性变换夹一个 ReLU 组成的前馈网络,正是前面的加权求和加非线性。后来的语言模型是否采用、怎么修改,要看各自的技术文档。所以神经网络是上位类别,聊天机器人只是一种用途,用于照片分类的小网络也是。

想看其他术语,可以从AI 术语总索引找起。

觉得这篇整理实用吗?分享给需要的朋友

LINE 分享
  • 生活分享

    代理式检索增强生成(Agentic RAG):何时需要再查一次

    代理式检索增强生成让模型参与检索决策,根据问题与已找到的证据选择数据来源、改写查询或继续补查。本文采用 LangGraph 文档中的具体流程,以比较场地借用条件示范它和固定式 RAG 的差别,并说明停止条件、权限、查询记录及成本控制。读完能判断任务需要动态探索,还是用可预测的固定流程就足够。

  • 生活分享

    图谱检索增强生成(GraphRAG):从关系看懂整批文档

    GraphRAG 把实体及其关系纳入检索,帮助回答跨文档的关联与整体主题。本文以 Microsoft 原始论文及官方文档为范围,拆解实体抽取、社区摘要、局部搜索和全局搜索,以地方活动记录示范不同问题需要不同路径。也说明图谱漏连、名称误合并与摘要失真如何影响答案,避免把一张漂亮的关系图误认为已验证的事实。

  • 生活分享

    知识图谱(Knowledge Graph):把事物与关系说清楚

    知识图谱用实体及关系组织数据,让“谁参与什么、在哪里、何时发生”能沿链接查询。本文以社群活动数据演示实体识别、关系方向、来源与时间,介绍资源描述框架(RDF)和属性图的表示差异,也说明图谱不等于可视化或可信事实。读完能判断数据适不适合建图,并理解它如何与数据表、向量搜索及图谱检索增强生成(GraphRAG)搭配。

  • 生活分享

    混合搜索(Hybrid Search):兼顾精确字词与语义

    混合搜索将全文搜索与向量等不同检索结果合并,兼顾精确代码和自然语言需求。本文用设备说明书查询拆解候选获取、去重、排名融合和重新排序,介绍倒数排名融合(RRF)如何用名次融合不同搜索结果,也提醒混合不保证全面更准。读完能用代码题、改写题和无答案题检查质量,并辨认权限、筛选与重复内容造成的偏差。

生活分享