认识铁疙瘩——GPU、带宽与算力的三重账
这一卷是全书的"辅助卷"：不求深、只求把"这一切跑在什么上面"的常识账补齐——目标是你听到"H100"、"昇腾"、"液冷机架"这些词不发怵，能做数量级判断。本章解剖硬件本体；下一章是显存速算手册；第三章走进推理工厂看账单。前两卷已经讲过并行策略和 NVLink/InfiniBand 的带宽地形，这里不再重复——我们从一张卡的内部看起。
1.1 一张卡卖的是三样东西
行话里"买卡"，买的其实是三种不同的商品，它们的单价和稀缺度各不相同：
算力（FLOPS）——每秒能做多少次浮点乘加。现代 AI 卡的算力集中在张量核心（Tensor Core）里，且按精度分档：以 2022 年至今的主力 H100 为例，16 位精度约 1000 TFLOPS（每秒 10¹⁵ 次），8 位精度翻倍到约 2000——精度每砍半，算力近乎翻倍，这就是第二卷 FP8 训练、第四卷低位交付背后的硬件动机。（读厂商规格表有个著名的坑：标称数字常是"2:1 稀疏"口径，比真实的稠密算力虚高一倍——看到 H100 标 3958 TFLOPS 时记得除以二。）
显存带宽（字节/秒）——数据从显存流进计算核心的水管粗细。H100 是 3.35 TB/s。这个指标平时最没存在感，但你从第一卷第五章就知道：decode 是访存受限的——对推理而言，带宽常常比算力更接近真实瓶颈。
显存容量（字节）——装模型和 KV cache 的仓库。H100 是 80 GB。上一卷的显存数学全部以它为分母。
（第四样商品——互联带宽——第二卷讲过：NVLink 域决定并行策略的地形，此处不赘。）三样商品的关系，用下一节这把标尺一量就清楚了。
1.2 Roofline：一把量遍所有场景的尺
Roofline 模型是体系结构领域的经典分析工具（2009 年提出），它把"我的程序卡在算力还是卡在带宽"变成一道除法题。定义算术强度：每从显存搬运一个字节，能做多少次浮点运算（FLOPs/byte）。每块芯片有一个脊点 = 峰值算力 ÷ 峰值带宽；程序的算术强度高于脊点，是算力受限（compute-bound，芯片火力全开）；低于脊点，是访存受限（memory-bound，计算核心在等数据）。
当堂算一次 H100 的脊点：$989\ \text{TFLOPS} \div 3.35\ \text{TB/s} \approx 295$ FLOPs/byte——每搬一个字节，得配上约 300 次运算才能喂饱它。现在量一量 LLM 的两道工序。decode：单条对话生成一个 token，要把全部权重读一遍，每个参数只做一乘一加（2 FLOPs），16 位下每参数 2 字节——算术强度约等于 1 FLOP/byte。离脊点差两个数量级：张量核心 99% 的时间在等数据。由此得到一个极好用的心算公式：
$$ \text{decode 速度上限} \approx \frac{\text{显存带宽}}{\text{权重字节数}} $$
H100 跑 70B 的 16 位模型：3.35 TB/s ÷ 140 GB ≈ 24 token/s——这就是"带宽即出字速度"的推导，也再次解释了为什么量化（字节减半）直接提速。prefill 则相反：几千个 token 的矩阵乘矩阵，算术强度随批量线性上升，轻松越过脊点、火力全开——同一个模型的两道工序，落在 roofline 的两侧（这个分野是下一章推理工厂的全部剧情；硬件厂商甚至开始按它分工出牌：NVIDIA 2026 年推出了一款用便宜显存、专跑 prefill 的衍生芯片）。
这把尺还能顺手解释一个你身边的现象：为什么 MacBook 跑本地模型意外地像样？对比 H100 与顶配 M 系芯片——算力差三五十倍，带宽只差六倍（3.35 TB/s vs 约 0.55 TB/s）。而本地单人推理是 memory-bound 的，比的是带宽：546 GB/s ÷ 4 GB（7B 的 4 位量化）≈ 每秒百余 token，流畅有余。训练是 compute-bound 的，那三五十倍的算力差距立刻现形——"能跑推理、不能训练"的边界，就画在 roofline 上。
1.3 代际演化：算力狂奔，带宽慢走
把近六年的旗舰卡排成一列（关键三指标，稠密口径）：
| 芯片 | 年份 | 显存 | 带宽 | FP8 算力 |
|---|---|---|---|---|
| A100 | 2020 | 80 GB | 2.0 TB/s | —（BF16 312 TF） |
| H100 | 2022 | 80 GB | 3.35 TB/s | ~2 PF |
| H200 | 2024 | 141 GB | 4.8 TB/s | ~2 PF |
| B200 | 2025 | 192 GB | 8 TB/s | 4.5 PF |
| B300 | 2026 | 288 GB | 8 TB/s | ~4.5 PF（FP4 15 PF） |
| Rubin | 2026 下半年 | 288 GB（HBM4） | ~20 TB/s 量级 | FP4 50 PF |
三条读表心得。其一，H200 是个意味深长的产品：芯片和 H100 一模一样，只换了显存——算力零增长、显存 +76%、带宽 +43%，照样大卖。推理时代什么最值钱，产品线自己招了。其二，新增长点在低精度：B 系到 Rubin 的算力飞跃主要发生在 FP4 档——硬件与第四卷讲的低位交付（QAT、MXFP4）在共同进化，软硬件在 4 位精度上会师。其三，长期看存在一堵"内存墙"：过去二十年，芯片峰值算力涨了约六万倍，显存带宽只涨了约一百倍——算力与带宽的剪刀差持续拉大，脊点越来越高，memory-bound 的困境不会随换代自动消失。三样商品的稀缺度排序，正在从"算力最贵"转向"带宽与显存最贵"——这句话是理解当下硬件市场几乎所有现象的钥匙。
价格感也顺手建立：单张 H100 市价两三万美元，云上租价每小时两三美元（超大云贵数倍）；一个 72 卡的 GB200 机架约三百万美元。租一年 ≈ 2.5 美元 × 8760 小时 ≈ 2.2 万美元，与买断同数量级——买还是租，取决于你的利用率（这道算术第三章还会用到）。市场格局一句话：NVIDIA 一家占 AI 加速器收入的七成以上（最新季度数据中心收入 752 亿美元、占其总营收 92%）；追赶者各有生态位——AMD 拿下 OpenAI 的 6 GW 长约，Google TPU 绑定 Anthropic 的百万颗订单，亚马逊、Meta 的自研芯片走"只供自家"路线。
1.4 中国算力：管制、特供与国产替代
对国内读者，这一节可能是本章最实用的坐标系。出口管制的规则几经反复（放行、加税、再收紧的政策震荡至今未停），但技术脉络非常清晰，用两张特供卡就能讲透：
| H100 | H800（2022 特供） | H20（2023 特供） | |
|---|---|---|---|
| 算力（BF16） | 989 TF | ≈989 TF（不削） | 148 TF（仅 15%） |
| 显存/带宽 | 80 GB / 3.35 TB/s | 同 H100 | 96 GB / 4.0 TB/s（反而更好） |
| 互联 NVLink | 900 GB/s | 400 GB/s（削一半多） | 900 GB/s |
第一轮管制只削互联（H800）——结果第二卷你已读过：DeepSeek 用"无张量并行"的绕行设计照样训出了 V3，管制目标落空。第二轮直接把算力砍到 15%（H20），但显存带宽反而给足——无意中造出了一张推理神器（回看 1.2 节：推理吃带宽不吃算力）。政策的净效应颇具讽刺性：它把中国市场推向了"英伟达特供卡做推理、国产卡攻训练"的分工，还顺手当了 DeepSeek 式效率创新的催化剂（第一卷"约束塑造创新"的又一注脚）。
国产阵营的现状，抓三个点即可。华为昇腾是主力：910C（双芯合封）单卡约为 H100 的一半上下，但华为的打法是用系统换单芯——CloudMatrix 384 超节点用 5 倍的芯片数、4 倍的电力，堆出超过 GB200 机架的总算力；路线图排到 2028 年、每代翻倍，且开始自研 HBM。生态在成型：DeepSeek 发新模型当日即有昇腾适配，推理侧国产化最快；训练侧仍以英伟达存量为主（也有全栈国产训练的公开标杆）；一个耐人寻味的信号是 DeepSeek 在模型里采用了"为下一代国产芯片设计"的数值格式、随后十几家国产芯片宣布适配——模型公司反向定义硬件标准，这在英伟达生态里是不可想象的。真正的瓶颈在存储器：制程（DUV 多重曝光做 7nm 级）虽难但能爬坡，行业分析普遍认为卡脖子最狠的是 HBM 高带宽显存的国产产能——毕竟你刚学过，这个时代最稀缺的商品正在从算力变成带宽与显存，卡点也跟着挪了过去。
1.5 机架、机房与电表
最后把镜头从芯片拉到机房，用几个数字建立宏观体感（产业全景留给第六卷）。
单卡功耗一路狂奔：H100 是 700 瓦，B300 到了 1400 瓦；一个 72 卡机架超过 130 千瓦——是传统数据中心机架的十几二十倍，风冷物理上已不可行，AI 服务器的液冷占比三年内从 15% 冲到约 76%。往上堆就是那些第二卷见过的巨物：几十万张卡、取电以吉瓦（GW，百万千瓦）计的单体站点，2026–27 年全球将有至少五个吉瓦级站点投运。于是瓶颈再次转移：并网排队以年计，有公司为绕开排队直接买下退役电厂，微软、Google、Meta、亚马逊排队签核电长约——行业的一句话总结相当传神：2023 年抢的是卡，2025 年抢的是 HBM，2026 年抢的是并网额度。
几个帮你锚定量级的类比，作为本章收尾：一张 H100 的算力约等于几十台顶配笔记本，但单卡训一次 GPT-4 量级的模型要一千六百年——两万五千张卡九十天干完，这就是集群存在的意义；一个 AI 机架的耗电约等于一百多户美国家庭；最大的单体集群取电相当于几千万个人脑的功耗——而它跑出的模型，在多数任务上仍不如一个 20 瓦的人脑通用。这最后一个对比值得常驻你心里：它既是对这场算力狂潮的尺度感，也是对"智能的能效"这个终极工程问题的提醒。
下一章，把这些铁疙瘩的规格换算成你最常被问到的问题："这个模型，我跑得动吗？"
本章要点
- 买卡买三样：FLOPS（按精度分档，砍半翻倍；防稀疏口径虚标）、带宽（decode 的真瓶颈）、显存容量；稀缺度排序正从算力转向带宽与显存（内存墙：20 年算力 ×6 万 vs 带宽 ×100）。
- Roofline 一把尺：脊点 = 算力÷带宽（H100 约 295 FLOPs/byte）；decode 强度 ≈1、prefill 轻松过脊点——两道工序在尺的两侧；decode 速度上限 ≈ 带宽÷权重字节（H100×70B≈24 tok/s）；MacBook 能推不能训的边界即在此。
- 代际密码：H200 = 只加显存也大卖（推理时代的自白）；新算力全在 FP4 档（与 QAT 交付会师）；单卡两三万美元、租每小时两三美元，买租平衡看利用率。
- 中国算力：H800 削互联（被绕过）→ H20 削算力留带宽（意外的推理神器）→"特供做推理、国产攻训练"的分工；昇腾用系统规模换单芯差距（CloudMatrix），模型公司开始反向定义硬件格式；真卡点在 HBM 产能。
- 电力时代：单卡 0.7→1.4 kW、机架 130 kW+、液冷 76%、吉瓦级站点与核电长约——抢卡→抢 HBM→抢并网额度。