我的 Mac 竟然隐藏了 AI 性能?夺回 50GB/s 的数据高速公路

可视化 Apple 芯片内部数据流的图形图像
AI Summary

由于 Apple M3 芯片存在特定的设计缺陷,导致 AI 数据传输速度下降了一半以上。通过软件优化,该问题已得到解决,性能得以恢复。

想象一下,你开着刚买的跑车上了高速公路,却感觉速度比平时慢得多。后来才发现,引擎里的一个极小零件没有正确咬合,导致无法发挥应有的性能。而当你精准地调整好那个小零件后,它立刻找回了原本爆发式的加速能力。

最近,Apple M3 芯片的 Mac 用户们就经历了类似的事情。一个好消息是,通过软件优化,隐藏在我们 Mac 中强大的 AI 引擎——“神经网络引擎(Neural Engine,专用于处理 AI 学习和推理任务的片上专用电路)”——已经找回了它原本的性能。

这为什么重要?

随着 AI 技术深入我们的日常生活,在 MacBook 或 iPad 等个人设备上直接运行 AI 模型的“端侧 AI(On-device AI,无需通过外部服务器即可在设备本身处理的 AI)”已成为必需。Apple 很早以前就利用神经网络引擎来处理 iPhone 的人脸识别或表情动画等功能参考资料:Apple 的‘Neural Engine’ Infuses the iPhone With AI Smarts

但是,如果神经网络引擎传输数据的高速公路变窄了会怎样?数据传输速度一旦变慢,AI 输出答案的速度(推理速度)也会随之减慢,用户会感到非常受挫。这项研究的重大意义在于,通过精巧的软件操作解决了硬件设计缺陷,从而使 AI 设备性能得到了飞跃性的提升。

浅显易懂:数据高速公路的瓶颈

神经网络引擎必须瞬间处理海量数据。为了实现这一点,设计了一套数据传输的“高速公路(内存带宽)”。然而,研究人员在 M3 芯片的神经网络引擎中发现了“RTL(电路设计)性能错误(erratum)”参考资料:Getting 50 GB/s Back from the Apple Neural Engine

简单来说,当满足特定条件时,高速公路的车道会突然减少到原来的一半以下,从而引发瓶颈现象。研究显示,当 AI 需要处理的数据权重(AI 模型的核心运算值)大小为“1 MiB(兆字节)的整数倍”时,数据传输速度会从原本的 45~60GB/s 急剧下降到 17~19GB/s参考资料:Apple M3 Neural Engine 的 RTL Bug 导致带宽丢失,现已找回 50 GB/s — Get…

打个比方,这就好比在 10 车道高速公路上畅快行驶的数据汽车,突然被迫挤进 3~4 条车道,从而引发了极度拥堵。这个问题在当时分析的 15 个 AI 模型中,有近一半(7 个)都出现了这种情况参考资料:从 Apple 神经网络引擎中找回 50 GB/s 的带宽

现状:问题是如何解决的?

研究人员发现,在内核 DMA(直接内存访问,一种不经过 CPU 直接读写内存的技术)引擎内部,数据预读取过程中的“推测性预取(speculative prefetch)”技术存在问题参考资料:Apple M3 Neural Engine 的 RTL Bug 导致带宽丢失,现已找回 50 GB/s — Get…

他们巧妙地调整了内核设置,以绕过问题的路径。结果,受阻的数据高速公路再次变得畅通无阻,数据得以重新完全利用原本设计好的约 50GB/s 以上的带宽参考资料:Getting 50 GB/s Back from Apple’s Neural Engine: DRAM Notches。这不仅仅是一个数字上的提升,更是一个技术上的突破,带来了用户在实际运行 AI 模型时能够立刻感受到的性能提升。

未来将会怎样?

Apple 正在不断强化 M 系列芯片的性能。最近还发布了 M5 和 M6 系列,持续增加了神经网络引擎的处理能力和统一内存带宽参考资料:Apple introduces M6 and M5 Ultra for a big leap in… - Apple

这个案例充分说明了,无论硬件多么强大,支撑它的驱动程序和内核级的精密软件优化是多么重要。随着未来更复杂、规模更大的 AI 模型在我们的设备上运行,这种挖掘隐藏性能并打造最佳环境的硬件分析与优化技术将愈发显得弥足珍贵。

MindTickleBytes 的 AI 记者视点

这次的案例就像是一把宝剑没能磨好剑刃的情况。通过软件唤醒硬件的潜能,这种精巧的工作,难道不正是将我们手中数字设备的价值发挥到极致的真正技术美学吗?

参考资料

  1. Getting 50 GB/S Back from the Apple Neural Engine Hacker News: https://news.ycombinator.com/item?id=49636479
  2. Apple M3 Neural Engine 的 RTL Bug 导致带宽丢失,现已找回 50 GB/s — Get…: https://zeli.app/ko/story/49636479
  3. 从 Apple 神经网络引擎中找回 50 GB/s 的带宽: https://memedata.com/post/145226
  4. Getting 50 GB/s Back from Apple’s Neural Engine: DRAM Notches: https://ideaverse.ai/blog/getting-50-gb-s-back-from-apple-s-neural-engine-dram-notches-mtyznsg7
  5. Apple’s ‘Neural Engine’ Infuses the iPhone With AI Smarts WIRED: https://www.wired.com/story/apples-neural-engine-infuses-the-iphone-with-ai-smarts/
  6. Apple introduces M6 and M5 Ultra for a big leap in… - Apple: https://www.apple.com/newsroom/2026/08/apple-introduces-m6-and-m5-ultra-for-a-big-leap-in-performance-and-ai-compute/
AD
测试你的理解
Q1. Apple M3 芯片神经网络引擎性能下降的主要原因是什么?
  • 软件兼容性问题
  • RTL(电路设计)性能错误
  • 操作系统内存不足
这是由于当数据权重大小为特定条件(1 MiB 的整数倍)时,电路设计中发生的性能错误(erratum)导致的。
Q2. 通过此次优化恢复的数据传输速度大概是多少?
  • 最高 50GB/s 以上
  • 约 10GB/s
  • 恒定的 5GB/s
随着问题的解决,设备得以重新利用其原有的 45~60GB/s 的高带宽。
Q3. 这种性能下降问题发生在什么数据处理作业中?
  • 屏幕渲染作业
  • DRAM 权重流式传输作业
  • 网页浏览
在从 DRAM 读取数据的权重流式传输作业中发现了性能下降现象。