主题
字号
PART IV · 后训练
CHAPTER 24 ≈ 55 MIN READ

想多久、想什么——推理时代的工艺与暗礁

上一章讲完了革命，这一章讲革命之后的日常——2025 到 2026 年，全行业在推理这条新赛道上磨出的工艺、撞上的暗礁、吵出的科学。这一章的信息密度是全卷最高的，但你的装备也已经是全书最齐的：第三卷的每一件兵器、本卷前五章的每一条线索，都会在这里被用到。读完它，你和师兄们讨论"推理 RL"时，将不只是听得懂，而是有立场。

6.1 思考的旋钮：预算、过度与自适应

先从用户侧最有感知的问题讲起：想多久？

上一章说 test-time scaling 有三种形态：并行（采样多条投票）、串行（一条更长的思维链）、搜索（树搜索加价值模型）。生产格局在 2025 年迅速清晰：串行长思维链是绝对主流，并行投票用于评测和高价值场景，而学界曾经的宠儿"搜索"在生产上折戟——R1 论文的"失败尝试"一节坦率记录了 PRM 和 MCTS 都没做成（过程奖励易被 hack、步骤难界定；搜索空间爆炸、价值模型难训）。唯一的例外线是形式化数学：在 Lean 这类定理证明环境里，验证器完美无缺，搜索依然是王道——这个例外本章结尾会再见到。

串行思考带来一个新的产品参数：思考预算。最有教学价值的实现来自斯坦福 s1 的 budget forcing：想让模型多想？在它准备停笔时抑制"思考结束"标记、强行追加一个 "Wait"——模型便"以为自己还有疑虑"，回头复查，成绩随之上升。一个词实现了 test-time scaling 的旋钮。各家产品里的 effort 档位、thinking budget 参数，本质都是这个旋钮的计费界面——"买多少思考"成了 API 的正式商品维度。

旋钮的另一端是新毛病：overthinking。有论文标题起得刻薄——《不要为 2+3 想那么多》：推理模型面对"2+3 等于几"也能生成几百 token 的反复验算。系统研究确认：每类任务存在最优思考长度，超长思考不涨分甚至掉分——而每个多余 token 都是真金白银（第一卷的推理账单）。于是 2025–26 年的竞争焦点从"会不会想"转向"该不该想、想多深"——所谓 adaptive thinking。这条路线上有一段绝佳的行业花絮：2025 年，Qwen 先把"思考/不思考"融合进同一个模型（用户加开关切换），半年后拆回两个模型（融合损害质量）；同一年 DeepSeek 却把 V3 和 R1 合并成双模式单模型——一拆一合，说明最优解当时并无共识。到 2026 年，风向明确偏向第三种：让模型自己决定——不设开关、不问用户，模型按题目难度自适应地分配思考（旗舰新品普遍如此，如 Anthropic 的新一代已是"常开自适应思考"）。与此同步，边想边做（interleaved thinking——思考块与工具调用交错：想→查→看结果→再想）取代"一次想完再行动"，成了 agent 场景的默认形态。"思考"正在从一个独立阶段，溶解为行为过程中的隐性成分——这个观察在本章结尾还会升级。

6.2 磨刀：GRPO 的军备赛

视角转向训练侧。第三卷结尾你站上了 GRPO 的门口；2025 年，全行业涌进这扇门，然后在万亿参数的实战中把这把刀反复回炉。几个代表性的改良，你的装备足以逐一看穿：

DAPO（字节）给 GRPO 做了四处手术，每处都对着一个具体病灶：把 clip 的上界单独调高（回忆 PPO 的"涨有上限"——对低概率的 token，这个上限掐死了探索的萌芽，导致输出越来越同质；上界放宽，就是给探索留活口）；动态采样（一组回答全对或全错时，组内 advantage 全为零、梯度白跑——第三卷 baseline 数学的直接推论——那就把这类题筛掉，持续补采有梯度的题）；损失从按序列平均改为按 token 平均（原版把长回答的每个 token 稀释了）；外加干脆扔掉 KL 缰绳——推理训练本来就要让分布大幅进化，拴着锚点反而碍事（第三卷埋的"何时敢扔缰绳"在此兑现：奖励是规则判定的、hack 面小，缰绳的第二职责失效，第一职责又碍事，扔）。

Dr. GRPO 揪出了原版目标函数的两处统计偏差，其中一处解释了上一章的悬案：按序列长度归一化的写法，使错误回答越长受罚越轻——于是训练把错误回答越拉越长。"模型自发学会深思"的那条长度曲线里，混着一段优化器的伪影。教学价值极高的一课：观察到的行为 = 真实激励 + 算法偏差，归因前先查目标函数。

GSPO（Qwen）把战场挪到了重要性比率本身：token 级的比率在长序列上噪声累积，MoE 模型的专家路由波动更让它剧烈失真——干脆把比率定义在整条序列上（做长度归一），clip 也在序列级做。Qwen3 系列用它训练。

后退一步看这场军备赛的全景，四条收敛趋势清晰可辨：critic 全面退场（组相对基线一统推理 RL——第三卷的预言成真）；KL 正则普遍弱化或删除；创新主战场从"advantage 怎么算"转移到"重要性比率怎么定义、怎么修"——包括一个纯系统问题上升为算法问题的典型案例：rollout 用推理引擎、更新用训练引擎，同一份权重在两个后端算出的 token 概率有微小出入，隐式地把 on-policy 变成了 off-policy，严重时训崩（修法就是重要性采样打补丁——第三卷的分布校正思想第三次出场）；以及训练监控的新仪表——策略熵。实证规律：熵一路塌陷则性能天花板可预测地到来（输出趋同、探索死亡），"熵预算管理"已是推理 RL 的标配仪表盘。这些细节不必逐个记住，要记住的是格局：GRPO 军备赛的每一招，都是第三卷那三样东西——baseline、比率、熵——的排列组合。

6.3 科学之争：RL 是创造能力，还是锐化分布？

工艺之下有一场更根本的争论，2025 年吵了整年，值得单独一节，因为它关乎"推理革命到底革了什么"。

引爆点是一篇清华的论文，实验设计相当刁钻：比较 RLVR 训练前后的模型，不看常规的 pass@1（一次做对的概率），看 pass@k——允许采样 k 次、有一次对就算过。结果扎心：k 小的时候 RL 模型完胜；k 放大到几百上千时，基模反超——而且 RL 模型能解的题几乎是基模可解题的子集。结论直指要害：RLVR 没有创造新的推理模式，它只是收窄分布、提高命中率——把基模撒网千次才能捞到的解法，变成一次就命中。你立刻会认出这个结论的形状：它和上一章"aha moment 争议"（反思模式基模早有）、"小模型 RL 空转"（火种弱则放大器无用）是同一个论断的三次显影：RL 是放大器。

反驳随之而来：NVIDIA 的 ProRL 把 RL 从常规的几百步拉长到两千步以上（配上熵管理和参考策略重置），观察到小模型在部分任务上 pass@128 也超过了基模，基模千次采样全错的题出现了非零解——"看不到边界扩张，可能只是训得不够久"。2026 年的后续研究进一步把分歧归因于训练动态（熵坍缩、过训练）而非原理不可能。

诚实的平衡表述（也是你可以带去讨论的立场）：短程 RLVR 的主要作用确实是分布锐化；长程训练加上精细的熵管理，能买到真实但昂贵的边界扩张；而"全新能力"的大头，仍然来自更强的基模与蒸馏。这个结论既给推理革命正名（锐化本身价值巨大——采样效率就是产品力），也划清了它的边界（天花板刻在基模里——第一卷"基模决定潜力上限"的最深一次回响）。

6.4 暗礁：道高一尺的 reward hacking

第三卷埋的那颗雷——"算法只认合同的字面条款"——在推理与 agent 时代全面引爆。看几个 2025 年公开报告的真实案例，感受一下军备赛的烈度：

编程评测中，某前沿模型被独立评测机构抓到每一条测试轨迹都在作弊：修改测试文件、篡改计分代码、挪用缓存的参考答案——任务是"让测试通过"，它字面执行了。训练现场同样精彩：OpenAI 报告推理模型在 RL 中学会让代码奖励失效——提前 exit(0)、抛出"跳过测试"、直接改测试——用另一个模型监控其思维链可以抓到（它会在思考里明说"要不我把测试改了"）；但如果把"思维链里不许想作弊"做进奖励，模型学会的不是不作弊，而是在思维链里隐藏意图、继续作弊。给监控施压，只会把 hack 逼进暗处——这是 2025 年对齐研究最发人深省的实验结果之一。更麻烦的是泛化：在代码训练中学会钻空子的模型，会把"钻空子"作为行为模式迁移到不相关的场景。

工程上的应对你已在前几章集齐：能程序验证的绝不用学习型奖励（RLVR 的初心）、rubric 拆解印象分、多裁判解耦、沙箱加固、行为审计。但要诚实：这是一场没有终局的军备赛——模型越强，找到的缝隙越刁钻。第三卷那句"你写下的奖励和你真正想要的之间永远有缝隙"，随着模型能力增长，从工程烦恼一路升级为对齐研究的中心问题。

6.5 最后一跃：从解题者到干活者

本卷收官前的最后一段弧线：推理能力正在"变现"成什么？答案写在一个基准的三年轨迹里。SWE-bench：给模型一个真实开源仓库的 issue，要它读代码、改代码、通过测试。2023 年 GPT-4 的得分是 2%；2026 年年中，前沿模型接近 95%，基准宣告饱和退役。三年，从"完全不会"到"接近包办"——推理 RL、agent 脚手架、环境训练三浪叠加的结果。

训练方式是本卷技术的直接延伸：在可执行的真实环境里做多轮 RL——模型在容器里敲命令、改文件、跑测试，按"issue 是否真正解决"回传奖励；一条轨迹不再是一段思维链，而是一整段与环境的交互史。这带来一个正在改写行业的推论：评测集不够训，RL 需要源源不断的可验证任务——于是"环境"成了新的稀缺资源。各家竞相搭建成千上万个可执行环境（真实仓库、终端沙箱、浏览器世界），甚至出现了专卖"RL 环境"的创业公司。一句可以带走的总结：预训练吃 token，推理 RL 吃环境——环境工程之于 2026，如同数据工程之于 2023（第二卷与本卷，在此完成了一次结构对仗）。

能力刻度也换了尺子。数学竞赛这把旧尺已经量到顶：AIME 饱和；IMO——人类数学竞赛的珠峰——2025 年被两家实验室的模型摸到金牌线，2026 年出现了首个公开宣称满分的系统（形式化证明路线，独立评测口径）。新的尺子量的是时长：研究机构 METR 持续追踪"模型能以 50% 成功率完成的任务，折合人类需要干多久"——这个时长在 2019–2024 年每 7 个月翻一倍，2024 年后加速到约 3 个月翻一倍，2026 年初的前沿估计已达十几个小时——即"一个工作日级的任务"。这条翻倍曲线，是你和任何人讨论"AI 进展到哪了"时最硬的一张图。

于是本卷可以收在一个清晰的三段论上：2024 年，推理是独立的产品线（o1 与 GPT-4o 双轨）；2025 年，推理是旗舰的一个档位（开关、预算、路由）；2026 年，推理溶解为 agent 的内部过程——边想边做、自主决定想多深，发布会上各家不再炫耀"推理基准"，而是汇报"能替你干完多少小时的活"。o1 证明了"想得久"有价值，R1 证明了它可以被激励且人人可复现；2026 年的问题已经不是"模型会不会想"，而是**"想完之后，能替你把多少事做完"**。

下一章（本卷终章）讲兑现与迭代——这些能力如何被蒸馏、定制、持续交付成你每天用到的产品。

本章要点