突破 AI 训练的巨大瓶颈？反向传播的新替代方案：PC-ALM

By Gi Pyeong Lee
AI 深度学习 技术解析 PC-ALM
展示神经网络各层相互连接并进行通信的可视化图形
AI Summary

PC-ALM 摒弃了传统复杂的反向传播训练方式，采用各层与邻层通信、自主学习的“预测编码”方法，从而实现了深达 1,000 层的深度神经网络训练。

试想一下，你是一家拥有数千名员工的大型公司的首席执行官（CEO）。如果所有部门极其琐碎的业务指示和反馈都需要你亲自审批，会发生什么？审批文件在最高层（CEO）和最底层（基层部门）之间往返，公司很快就会陷入瘫痪。

目前大多数人工智能（AI）的训练方式——“反向传播（Backpropagation）”正面临着同样的境地。今天，我们来讨论一种为了突破这种复杂审批流程，即反向传播巨大瓶颈而诞生的新技术：PC-ALM（Augmented Lagrangian Predictive Coding，增广拉格朗日预测编码）。

为什么这项技术如此重要？

随着 AI 技术的发展，模型变得越来越深、越来越庞大。然而，作为当前标准训练方式的反向传播，随着模型加深，在信息传递和修改过程中会消耗大量的时间和计算资源。这就像在一场巨大的马拉松比赛中，所有选手都不得不依赖同一位裁判来指挥比赛一样。

如果 AI 的训练方式从根本上发生改变，我们将能够以更少的能量创造出更快、更智能的 AI。特别是 PC-ALM，甚至使得训练深达 1,000 层的超深度神经网络成为可能（来源：Sakana AI Researchers Introduce PC-ALM）。这是巨型 AI 模型开发领域迈出的重要一步，有望开辟新的纪元。

浅显易懂的理解：“部门自治审批”模式

用通俗的语言比喻，如果说反向传播是“CEO亲自确认所有文件的方式”，那么 PC-ALM 就是 “各部门（各层）与直接相邻的邻近部门进行直接协商审批的方式”。

  1. 反向传播（传统方式）：数据从神经网络的起点一路前行（Forward pass），然后将最终结果与标准答案对比产生的误差回传（Backward pass），从而微调神经网络整体的数值。由于这个过程需要一次性计算整个网络，效率较低。
  2. PC-ALM（新方式）：每一层都像一个活着的生物一样运作（来源：Augmented Lagrangian Predictive Coding: training 1000-layer…）。每一层不需要等待整个系统的最终指令，而是只与其直接前后的邻层进行通信（来源：Augmented Lagrangian Predictive Coding: training 1000-layer…）。

这里出现了一个名字听起来有些晦涩的数学技巧——“增广拉格朗日（Augmented Lagrangian）”。简单来说，这是在求解带复杂约束条件的问题时，通过向原始目标函数添加“惩罚项（类似于扣分）”来帮助更容易地找到答案的工具（来源：AugmentedLagrangianmethod - Wikipedia）。PC-ALM 利用这种技巧引导各层自主寻找最优状态。这就像一个聪明的组织，所有部门共享公司的总体目标，同时又各自独立进行判断。

当前状况

研究人员利用这种 PC-ALM 方法，成功训练出了 1,000 层这样一个惊人深度的网络（来源：Augmented Lagrangian Predictive Coding: training 1000-layer…）。以往的反向传播替代方案存在训练性能下降或仅在特定环境下有效的局限性，但 PC-ALM 通过将层间通信方式解释为动态系统，跨越了这一障碍。

当然，这并不意味着你现在使用的 AI 服务就是用这种方式训练的。目前它还处于研究阶段，旨在验证效率，若要应用于实际商业化的巨型 AI 模型，还需要更多的验证和优化过程。

未来会怎样？

未来我们最需要关注的一点是 “AI 的能效”。如果反向传播的瓶颈消失，也许很快就会迎来一个在比现在低得多的配置的计算机上，也能训练或运行巨型 AI 模型的时代。这也将降低 AI 的高门槛。

研究人员已经公开了相关代码，营造了一个让任何人都可以进行实验的环境（来源：Sakana AI Researchers Introduce PC-ALM）。AI 如何不仅仅是单纯地变得“更大”，而是如何更高效地实现“自我进化”，这一思考正在创造出一种全新的学习范式。

MindTickleBytes 的 AI 记者视角： PC-ALM 不仅仅是一种技术替代方案，它展示了 AI 执行类似于生物大脑神经结构的“局部学习”的可能性。在这个数据爆炸的时代，期待 AI 在技术上的跨越，让自己变得更加轻量化和智能化。

参考资料

  1. AugmentedLagrangianmethod - Wikipedia
  2. AugmentedLagrangianPredictiveCoding: training 1000-layer…
  3. Sakana AI Researchers Introduce PC-ALM, a Layer-LocalAlternative…
  4. BackpropAlternative:AugmentedLagrangianPredictiveCoding
  5. Primal DualAugmentedLagrangianSolver for ModelPredictive…
  6. ExactAugmentedLagrangianDuality for Nonconvex Mixed-Integer…
  7. AugmentedLagrangianPredictiveCoding: training 1000-layer… (Ref)
  8. A momentum-based linearizedaugmentedLagrangianmethod for…
  9. GitHub - LumenPallidium/backprop-alts
AD
测试你的理解
Q1. PC-ALM 训练方式的核心特征是什么？
  • 一次性处理所有数据
  • 各层仅与其邻层通信进行学习
  • 必须执行反向传播
PC-ALM 使得各层作为独立的动态系统运行，仅与其相邻层进行通信以实现学习。
Q2. 在 PC-ALM 名称中，“Augmented Lagrangian”的含义是什么？
  • 提高训练速度的硬件加速
  • 解决带约束问题时添加惩罚项的数学技巧
  • 压缩数据的算法
增广拉格朗日（Augmented Lagrangian）方法是一种在求解带约束优化问题时，向原始目标函数中添加惩罚项（augmentation）以进行求解的技巧。
Q3. 通过 PC-ALM 可以训练的深度神经网络层数大约是多少？
  • 最多 10 层
  • 最多 100 层
  • 1,000 层以上
使用 PC-ALM 可以有效训练高达 1,000 层的超深度神经网络结构。