0%

百衲成衣(续

绩麻

前面几篇写完之后,仍觉有未到之处,又冒出一些新的想法,在此一并列叙。思考方式比较无厘头,也不严谨,权当笑谈,多少能给讨论添点素材。

在心理学里,我们可以大致用 MBTI 来评价一个人的性格和行为方式;在计算机的发展中,也出现过许多不同的范式。许多人也许会好奇:人脑和硅基芯片的工作方式到底有什么不同?为什么人脑只用约 20 W 的功耗,就完成了从二百万年前杀出生天到现代种种壮举的跨越?这个问题先放着,最后回答。

沤麻

从能量上看,大脑是电池,芯片是电阻

人脑的“思考”,说到底是无数神经细胞突触之间的递质传递和放电,离子顺浓度梯度跨膜流动,带来膜电位的变化。“我之所以为我”,物质基础就在这里。20 W 这笔账,花在 ATP、离子化学势能和电信号的转换之间。

有一种常见的误解:“人脑的大部分能量都变成热耗散了,所以并不高效。”事实上,大脑更像一块生物电池,大部分能量用来维持细胞所处的环境,确保钠、钾离子的跨膜浓度差,这样放电随时可以发生。因此可以归纳为:放电几乎是免费的,贵在持续充电。 热不是耗散,而是电池维持自己的方式。

芯片这边正相反。芯片本身就是一个“电阻”,发热是必然的,也是它的工作方式。门电位每翻转一次就耗一点电,二进制信号和计算都是这样模拟出来的。

在计算模式上,计算机的大量电力花在数据的搬运和读取上。冯·诺依曼架构里 CPU 与内存分离,数据要在总线上往返。很多负载中,搬数据的能耗比真正做运算高一到两个数量级,这就是所谓的内存墙,这类负载叫 memory-bound。而大脑是“存算一体”,电位状态既参与存储,也参与计算,不用搬。

功耗的量级也值得比一比(口径都作了简化):人脑对比一块满载的 SoC 约为 4:1;对比消费级 GPU(如笔记本 5060)大致在同一数量级;对比满载的服务器 GPU(B200),功耗比来到 1:50。但这不能直接当作能效对比,因为计算机的产出以 FLOPs/秒计,人脑的产出以突触事件/秒计,产出本身就没法类比。

从热力学看,两者都是纯热源

能量进去,几乎全部变成热出来,没有可用的功输出(芯片有一点信号辐射,大脑有一点用于合成生物分子,量级都可忽略)。也就是说:计算不是能量的产物,而是能量耗散过程的副产品。

按兰道尔极限(室温下擦除 1 比特的理论下限,约 3×10⁻²¹ J)粗算:

每次事件的能量 约为兰道尔极限的
人脑 ~2×10⁻¹⁴ J / 突触事件 ~10⁷ 倍
GPU ~7×10⁻¹³ J / FLOP ~10⁸ 倍

经纬

从工作方式上看,一个恒载,一个变载

大脑在深度睡眠时也有约 15 W,深度思考也只让整体功耗升高几个百分点,因为大部分电费花在“随时待命”上。芯片则有清晰的怠速和满载,功耗差十几二十倍。再加一条:大脑没有全局时钟,信号不来就不动;芯片的时钟一响,几十亿个晶体管一起翻转。所以芯片省电靠少搬,大脑省电靠不动。

从稀疏上看,两边都说省,省的不一样

打个比方,两个人都说自己最近很省,一个是不吃饭,一个是不出门。

MoE 是模块级稀疏:请很多专家,每次只叫几个,被选中的专家内部是满负荷的。大脑则是区域之间铺开,神经元内部稀疏:很多区域都参与,但每个区域里只有一小部分神经元强烈响应。(严格说,大脑的编码是一个谱系,海马的位置细胞很稀疏,前额叶的混合选择性神经元却相当稠密,所以“大脑稀疏”要带限定。)

AI 为什么做不到神经元级稀疏?因为脉冲是“放或不放”,不可微,梯度传不过去。AI 只好把“选或不选”松弛成“按权重混合”,结果就是什么都算一遍。稠密不是设计者喜欢,而是为了让梯度流得过去。

注意力也是反着来的:大脑的注意力是为了少处理,AI 的注意力是为了多连接。 你能在嘈杂的餐厅里听清对面的人说话,靠的是强大的忽略能力;大模型的上下文越长越贵,是因为它不会忽略,只会把一切两两连上。

结绳

从学习上看,一个边活边学,一个学完再用

AI 分训练和部署两步,训练完权重冻结,只读不写。大脑没有这条线:你读这句话时,视觉皮层的突触正在被这几个字微调,没有“训练阶段”和“部署阶段”,只有一直进行的那一个阶段。

改权重的方式也不同。AI 算一个全局的“错误分数”,从输出一路往回传,每个参数都被告知该负多少责任。大脑的突触只看前后两个邻居:前一个先放电、后一个跟着放电,连接就加强,一句话就是“一起放电的神经元,连在一起”。这个规则不看任务做对没有,甚至不知道自己在干什么,没人指挥,却长出了能认脸、能说话、能算账的系统,这是神经科学里最让人不安也最迷人的事实。

顺带一提,反向传播有个不太体面的前提:每个神经元要带一份自己前向权重的精确副本,生物神经元里没找到这种东西(即权重搬运问题)。所以我们有一套能训练出聪明模型的方法,但大脑多半不是这么学的。

从遗忘和塌缩看,大脑会挑着忘

AI 学新忘旧叫灾难性遗忘,新任务一来,旧权重就被覆盖。大脑也忘,但会挑着忘:重要的、常用的被保护起来,琐碎的慢慢淡出。它还有个定时的维护窗口,就是睡眠,白天的经历在夜里被重放、固化,AI 里的“经验回放”就是借鉴了这一点。

大脑还会主动删连接:婴儿期突触疯长,之后大量修剪,没被用到的就拆掉。但它只删单个连接,不会让一整片区域永久废掉。这正好对应 MoE 的老毛病专家塌缩:谁早期稍好一点,就拿到更多数据,于是更好;落选的专家拿不到梯度,永远没有翻身的机会。大脑没有“落选”这个状态,学习只由局部活动决定,长期没人用的通路还会被整体拉回工作区。AI 的塌缩是“没人用,所以永远学不动”,大脑有一整套机制在对抗它。

回到开头的问题

两边其实选择了相反的进化方向。AI 用全局梯度换来高效,代价是离不开标签、学完就冻结;大脑用局部规则换来终生在线,代价是学得慢,也没人知道它到底在优化什么。AI 用稠密计算换来可微,大脑用神经元级稀疏换来省电。

AI 是学完再用,大脑是边活边学;AI 把稀疏做到模块上,大脑把稀疏做到神经元上。两边都想省,不是同一个方向。

所以 20 W 干出那么多事,并不是因为大脑“更高效”,而是它的进化方向决定的。

梯度下降只依赖局部信息,一步步沿着坡度修正自己。把它放到人生里,会碰到一对绕不开的矛盾:鲁棒性与过拟合。

人只能根据眼前的反馈修正自己,而反馈总带着噪声。对每一次反馈都强烈反应,就会过拟合:被一时的成败、他人的评价牵着走,把偶然当成规律。反之,对反馈过于迟钝,又会欠拟合,什么经验都留不下来。合适的学习率与适度的噪声,目的都是让结果在扰动下依然稳定,也就是鲁棒。但鲁棒有代价:你越不被个别经历左右,对新环境的适应就越慢。

纫

写到此处,斗转星移,从黄昏到夜阑人静,大约过了四个小时,整理了很多思路,将我的一些不成熟的想法严格化,然后转成趣味化的语言再说出来,倒也畅快。许多的直觉其实并不准确,我仅是在此基础上一点点克服自己的”鲁棒性“,来达到对初始函数的修正。人与人就像是多元函数,在随机中找到彼此的坐标,向量特征在低维上相似,高维上又近似正交;又像是天上的星星,独特的光一闪一闪,却彼此独立,并不结羽。这也许就是数学存在的魅力吧。


尾注

[1] 20 W 的来历——三条独立路径换算:其一,脑占全身静息代谢约 20%(全身按 1600–2000 kcal/天计);其二,脑氧代谢率约 3.0–3.5 mL O₂/100g/min;其三,葡萄糖消耗约 4–6 mg/100g/min,即每天约 80–120 g。脑重按 1400 g 计。三条路径都落在 15–25 W 之间,20 W 是常被引用的中心值。需要说明的是,“电池”这个比喻只对应其中维持性开销的那一部分,也就是离子泵重建跨膜梯度的耗能,不是全部。

[2] 兰道尔极限与正文那张表——室温下擦除一比特的理论下限约 3×10⁻²¹ J(兰道尔 1961 年提出)。表中两个“每次事件的能量”是这么来的:人脑按 20 W ÷ 10¹⁵ 事件/秒,GPU 按 700 W ÷ 10¹⁵ FLOPs/秒。这里要留意,700 W 是另一个档次的卡(如 H100),和正文 1:50 那句用的 B200(1000 W)不是同一档,两处的倍数不要混读。分母本身也不干净,不是所有脑能量都用于信号,也不是所有芯片功耗都用于浮点运算;而且一次突触事件、一次 FLOP,都不等于擦除一比特。结论方向(两者都远离物理极限)是稳的,具体倍数不宜引用。

[3] 功耗比的口径——人脑取 20 W 中心值,SoC 取满载数十瓦,B200 取标称 1000 W。厂商给的标称功耗是上限(NVIDIA 显卡规格多称 TGP 或 Maximum Graphics Power),实际持续功耗取决于负载:轻载可低到两三成,满载则常长时间贴着上限跑。所以任何一组比例都会随机型与负载浮动。

[4] 突触修剪——人脑皮层突触密度在出生后 1–2 年达到峰值,此后持续下降至青春期,出自 Huttenlocher 等人对人脑皮层的研究(其中额叶皮层的工作最常被引用)。这里有意不给百分比:不同脑区、不同测量方法差异较大。待核:若要引用“约四成”这类数字,需回到原始文献确认脑区与测量方法。

[5] 权重搬运问题——反向传播要求神经元持有与前向权重对称的副本,而生物系统中未发现对应机制,这是“反传不是大脑学习方式”的核心论据之一。待核:最初的质疑出处需核实;“反馈权重不必与前向对称”这一路的代表作,可查 Lillicrap 等人 2016 年发表在 Nature Communications 上的反馈对齐工作。

—