解码 AI TOPS：理解 AI 芯片的关键指标与性能对比 • Ernest Chiang

(插图： 幕后付出了诸多努力。 Le Bouchon Ogasawara，位于东京涩谷。 图片来源：Ernest)

tl;dr

• TOPS (每秒万亿次运算, Trillions of Operations Per Second) 是衡量 AI 芯片和 NPU 芯片计算能力的重要指标，它表示处理器每秒能执行的万亿次运算次数。
• 我们可以用“煎鸡蛋”来形象理解 TOPS： 普通 CPU 就像一位每次只能煎一个鸡蛋的厨师，而高 TOPS 值的 AI 芯片则像一位可以同时煎无数鸡蛋的超级厨师。
• TOPS 是对比 AI 芯片性能的重要参考，但在评估 AI 硬件时，我们还应该综合考虑能效、内存带宽等因素。 此外，TOPS 值通常代表的是理论峰值性能，实际性能还需要结合具体应用场景进行评估。

什么是 TOPS（通俗易懂版）

TOPS，全称 每秒万亿次运算 (Trillions of Operations Per Second)，是衡量人工智能 (AI) 芯片或神经处理单元 (NPU) 计算能力的关键指标。它表示处理器每秒能够执行的最大运算次数，以万亿为单位。 随着计算能力的不断提升，未来可能会出现更大的单位来替代 “万亿”。

为了更直观地理解 TOPS，我们可以用一个生活化的例子来解释：

将 AI 计算 想象成 煎鸡蛋的过程，而 数据 则是 待煎的鸡蛋。

一个普通厨师（相当于普通 CPU）可能一次只能煎一个鸡蛋，而一个超级厨师（相当于 AI 芯片）则可以同时煎一万亿个鸡蛋！ TOPS 就好比衡量这位 “超级厨师” 能力的指标，告诉我们他每秒可以 “处理” 多少个 “数据鸡蛋”。

TOPS 是理解和比较 AI 芯片性能的重要参考之一，但并非唯一标准。

在评估 AI 硬件，例如 AI 手机或 AI 电脑时，我们还需要考虑其他因素，如能效、内存带宽和软件生态系统等。 通过 TOPS，我们可以比较不同 AI 芯片的计算能力，为选择适合特定应用的 AI 硬件设备提供参考。

什么是 TOPS（深入解析版）

在深入了解 TOPS 之前，我们首先需要理解什么是 “运算”：

在数字电路和计算机科学中，“运算” 通常指的是基本的数学或逻辑计算。 对于 AI 芯片或 NPU 来说，这些运算主要包括：

1. 浮点运算： 例如加法、减法、乘法和除法。
2. 矩阵运算： 大规模矩阵乘法是深度学习中最常见的运算之一。
3. 向量运算： 包括点积（也称标量积）和叉积（也称向量积）等。
4. 激活函数： 例如 ReLU，Sigmoid 和 Tanh 等。
5. 卷积运算： 广泛应用于卷积神经网络 (CNN)。

这些运算通常以 FP32 (32 位浮点) 或 FP16 (16 位浮点) 格式进行。 部分 AI 芯片也支持精度更低的格式，例如 INT8 (8 位整数)，以提高性能并降低能耗，这类格式通常用于推理。

TOPS 的计算公式可以简化为：

TOPS = (每个时钟周期的运算次数) × (时钟频率) / 1 万亿

举例来说，如果一个 AI 芯片在每个时钟周期可以执行 1000 次运算，且时钟频率为 1GHz，那么它的理论峰值性能就是 1 TOPS。

1000 次运算/周期 × 1GHz = 1000 × 10^9 次运算/秒 = 10^12 次运算/秒 = 1 TOPS

在理解 TOPS 时，需要注意以下几点：

1. TOPS 通常代表的是理论峰值性能， 实际性能可能会受到内存带宽和芯片架构等因素的影响。
2. 对于不同类型的运算 (如 FP32、FP16、INT8)，TOPS 的数值可能会有所不同。
3. 高的 TOPS 值并不一定意味着在所有 AI 任务中都有更好的表现，因为实际性能还取决于软件优化以及具体任务的特点。

TOPS 性能对比表

（请主要关注 “INT8 Ops” 列，左右滑动可查看更多数据） （包含 CES 2025 的信息）

参考资料

• AI TOPS 和 NPU 性能指标指南 | 高通
• 嵌入式 - TOPS AI 与真实世界性能
• 用于 AI 的神经网络处理器和 DSP | Synopsys
• TOPS、内存、吞吐量和推理效率
• AI-Benchmark

REF: https://www.ernestchiang.com/en/notes/general/tops-comparison-table-by-brand/