规模的法则——从赌注到公式

第一卷的结尾说，骨架决定潜力的上限，但不产生任何能力——能力来自训练。这一卷讲训练的第一阶段，也是最重的阶段：预训练。几万张 GPU、几十万亿 token、几个月不间断的计算，把互联网压进权重里。

而预训练的一切故事，都要从一条曲线讲起。这条曲线回答了一个在 2020 年之前根本没人敢认真问的问题：**如果我把模型做大十倍、一百倍，会发生什么？**在别的工程领域，这种问题的答案通常是"收益递减，然后撞墙"。深度学习给出的答案却是一条笔直得可怕的直线——而且这条直线一直延伸到了今天。理解这条线，你就理解了这个行业为什么敢把千亿美元押在算力上；理解它后来被修正、被绕行的过程，你就理解了 2022 年之后每家实验室训练策略的分岔。

1.1 三种货币：N、D、C

先建立预训练的记账体系。一次预训练的投入可以用三个量描述，本卷会反复使用这套记号：

• N：模型参数量（第一卷数过的账本）；
• D：训练数据量，以 token 计（喂了多少料）；
• C：总计算量，以 FLOPs（浮点运算次数）计（烧了多少算力）。

三者不独立。回忆第一卷的结论：模型每处理一个 token，前向传播约需 $2N$ 次浮点运算；训练还要反向传播，代价约是前向的两倍。于是有了整个领域最常用的一个估算公式：

$$ C \approx 6ND $$

**训练总算力 ≈ 6 × 参数量 × token 数。**这个公式值得你当场试用一次。GPT-3：$N = 175\text{B}$，$D = 300\text{B}$ tokens，代入得 $C \approx 3.1 \times 10^{23}$ FLOPs。一张 A100 每秒约 $3 \times 10^{14}$ 次浮点运算（实际利用率打对折），跑完这个数需要约 6.6 万卡日——一千张 A100 跑两个月，量级正确（GPT-3 实际用的是 V100 集群，数字同量级）。这类"信封背面"估算是从业者的日常语言："训一个 X 规模的模型要多少卡多少天"，用 6ND 除以集群算力就是答案。

预算 $C$ 是有限的——它直接等于钱和时间。于是预训练的中心问题浮出水面：**给定预算 C，参数 N 和数据 D 怎么分？**是训一个大模型少喂点，还是训一个小模型多喂点？2020 年之前，这个问题靠玄学和试错；2020 年之后，它有了定量答案。

1.2 Kaplan 定律：损失是一条直线

2020 年初，OpenAI 的 Kaplan 等人发表《Scaling Laws for Neural Language Models》，做了一件朴素但没人系统做过的事：训练几百个大小不一的模型，把损失（loss）画在对数坐标上。结果是三条惊人干净的幂律（power law）：损失随 N、随 D、随 C 的增长，各自沿对数-对数坐标上的直线下降，跨越了七个数量级而不弯折。没有饱和的迹象，没有撞墙的迹象——只要继续放大，损失就继续可预测地下降。

这个发现的震撼之处需要放回当时的语境。深度学习向来以"炼丹"著称——调参靠手感、结果难复现，而 Kaplan 曲线宣告：在最宏观的尺度上，这个领域有物理定律般的规律性。它把"做大模型"从一个冒险变成了一笔可以计算回报率的投资：想要多低的损失，查曲线就知道要花多少算力。GPT-3 正是这条曲线给的胆量——论文发表几个月后，OpenAI 直接把模型从 1.5B 放大一百倍，因为曲线说值得。

Kaplan 论文还给了资源分配问题一个具体答案：预算增大时，大部分增量应该花在 N 上——把模型做大，数据只需温和增长。行业照办了：2020–2022 年的模型军备竞赛全是参数竞赛，GPT-3 175B、Gopher 280B、MT-NLG 530B，参数一路狂飙，而各家喂的数据都在 3000 亿 token 上下踏步。

1.3 Chinchilla 修正：大家都把模型养胖了

2022 年，DeepMind 的 Hoffmann 等人重做了这个实验，结论让全行业坐直了：Kaplan 的分配公式错了，错得还不小。

技术根源后来被梳理清楚：Kaplan 的实验里，不同训练长度的 run 共用了不合适的学习率调度（调度没有对齐到各自的训练终点），系统性低估了"多喂数据"的收益。修正之后的结论叫 Chinchilla 定律：计算最优的分配是 N 和 D 等比例增长，数值上大约每个参数配 20 个 token。对照这个标准，当时的一线模型全都"养胖了"：Gopher 280B 参数只喂了 300B token（比例 1:1，应该 1:20），是一个严重"营养不良的胖子"——参数堆了一堆，没喂够数据，潜力远未兑现。

DeepMind 用一次漂亮的对照实验钉死了结论：用与 Gopher 完全相同的算力，训一个 70B 参数、1.4T token 的模型（参数缩小 4 倍、数据放大 4.7 倍），命名 Chinchilla。结果全面碾压 Gopher。同样的钱，换个分法，白捡一代模型的提升——这在"算力即黄金"的行业里等于宣布：过去两年大家集体把钱花错了地方。

Chinchilla 之后，"参数军备竞赛"熄火了，行业的口头禅从"多大的模型"变成了"多少 token"。数据从配角升为主角——下一章你会看到，数据管线自此成为各家最核心的机密之一。

1.4 第二次修正：故意把模型"训过头"

故事到 2023 年又拐了一个弯，而这一弯的驱动力不是科学，是商业。

Chinchilla 优化的目标是"训练预算固定，损失最低"。但模型训完是要部署的——第一卷算过推理账单：每生成一个 token 花约 $2N$ 的计算，用户量大时，推理的累计算力远超训练。把推理成本纳入总账，最优解就变了：宁可训练时多花算力，也要把 N 压小——小模型每次服务都便宜，训练多花的钱在海量推理中赚回来。

于是出现了故意偏离 Chinchilla 的"过度训练"（overtraining）：Meta 的 Llama 3 8B 训了 15T token——每参数近 1900 个 token，是 Chinchilla 建议的百倍量级。按 Chinchilla 的账这严重"浪费"：同样算力训个更大的模型损失会更低。但 Meta 要的不是纸面损失最低，而是"一个能塞进单卡、推理便宜、拿去开源人人可用"的 8B 模型的能力尽可能强。训练是一次性成本，推理是永久成本——计算最优让位给了推理最优。

2025–26 年的 MoE 旗舰把这两条逻辑合流了：细粒度稀疏（第一卷第七章）把激活参数压到几十 B（推理便宜），总参数照样巨大（容量够），再配上几十 T token 的重喂养。今天旗舰的预训练量普遍在 15T 到 30T+ token——数据量五年膨胀了一百倍，而"该喂多少"的决策依据，正是本章这三步演化叠加的结果：Kaplan 给了"规模有回报"的信仰，Chinchilla 给了"参数数据平衡"的账本，推理经济学给了"往数据侧再压"的理由。

1.5 一条定律的三重身份

收束本章之前，把 scaling laws 的意义整理成三层，后面各章会分别用到。

它是预测工具。大模型训练是不可试错的豪赌——几亿美元一次、没有重来机会。scaling laws 让实验室可以先用千分之一的算力训一串小模型，拟合出曲线，再外推预测大模型的最终损失。GPT-4 的技术报告罕见地披露过这一点：正式训练开始前，他们用小模型准确预测了最终 loss。这套"小模型侦察、大模型决战"的方法论，是所有前沿实验室的标准操作，也是第一卷讲过的"架构改动要在真实规模才见分晓"这一困境的部分解药——好的架构改动，应该改善的是整条 scaling 曲线的斜率或截距，而不只是某个点。

它是投资论证。"损失可预测地下降"意味着"能力提升可以计划"，这是数千亿美元数据中心投资唯一的理性基础。第六卷讲产业时你会看到，每一轮融资叙事的底层都是这条曲线。

**它也是被追问的对象。**损失下降就等于"更聪明"吗？下降到什么时候是个头？数据够用吗？——这些追问构成了 2024 年之后行业最重要的几场辩论（"涌现能力"之争、"数据墙"之争、"预训练终结"之争），我们在后面几章逐一处理。

但在此之前，得先回答一个更根本的问题：几十万亿 token 到底是什么东西？从哪来？为什么说"数据配比是各家最核心的机密"？下一章，数据管线——预训练这道大菜的备菜间。

本章要点

• 记账体系：$C \approx 6ND$（训练），推理每 token 约 $2N$；用它可做"多少卡多少天"的信封背面估算。
• Kaplan 2020：损失随 N/D/C 幂律下降，跨七个数量级不弯折——"做大"从冒险变成可计算回报的投资，直接催生 GPT-3。
• Chinchilla 2022：修正分配——N 与 D 应等比增长，约 20 token/参数；同算力下 70B×1.4T 碾压 280B×300B；数据从配角变主角。
• 2023 后的推理最优：训练是一次性成本、推理是永久成本，故意"过度训练"小模型（Llama 3 8B：1900 token/参数）；MoE 旗舰 = 稀疏激活 + 重喂养的合流。
• 三重身份：预测工具（小模型侦察、外推大模型 loss）、投资论证（能力可计划）、被追问的对象（涌现/数据墙/预训练终结之争，后章展开）。