《PLaT: Latent Chain-of-Thought as Planning》笔记

—— 将隐式推理重构为规划：解耦“思考”与“表达”

一、核心问题与创新动机

1. 现有推理范式的瓶颈

当前大语言模型（LLM）的推理主要依赖思维链（CoT），即在离散Token空间中逐步生成文本。这种范式存在两个根本性缺陷：

  • 推理路径坍塌（Reasoning Path Collapse）：在每一步生成中，模型必须从词表中选择一个确定的Token，这导致其他潜在的正确推理路径被强制剪枝。一旦早期步骤出现次优选择，后续很难修正，造成不可逆的错误。
  • 计算冗余与僵化：显式CoT需要生成大量中间文本Token，计算成本高。而现有的隐式推理（Latent Reasoning）方法（如Coconut, CODI）虽然将部分推理压缩到连续隐空间，但通常作为“黑盒”端到端优化，且推理步数固定，无法根据问题难度动态调整，缺乏人类“系统2”思维的灵活性。

2. 创新性解决方案：PLaT (Planning with Latent Thoughts)

本文提出 PLaT 框架，核心思想是从根本上解耦“推理（思考）”与“言语化（表达）”。

  • 核心定义：将推理建模为连续隐空间中的确定性规划轨迹（Deterministic Trajectory of Latent Planning States），而言语化仅作为必要时将隐状态“落地”为文本的独立过程。
  • 本质突破：
    • 透明规划（Glass-box Planning）：不同于以往的黑盒隐式推理，PLaT的隐状态是可解释、可探查的规划节点。
    • 动态终止（Dynamic Termination）：模型可根据隐状态自行判断何时结束推理并输出答案，无需预设固定步数。
    • 探索与利用的权衡：PLaT牺牲了部分贪心解码（Greedy Decoding）的准确率，换取了极高的推理多样性（Diversity），使其成为基于搜索的推理（如ToT, Best-of-N）的理想生成器。

二、核心架构与方法论

1. 双模块架构：Planner + Decoder

PLaT由两个功能明确分离的组件构成，通过投影层交互：

  • Planner（规划者）：
    • 职责：在连续隐流形上自回归地演化推理轨迹。
    • 机制：接收问题嵌入，生成一系列细粒度的隐状态序列 Sk={sk,1,…,sk,NL}Sk​={sk,1​,…,sk,NL​​} 。这些状态是确定性的向量，保留了多种逻辑可能性的“叠加态”。
    • 稳定性设计：引入**指数移动平均（EMA）**机制，聚合历史隐状态，形成稳定的规划上下文，防止轨迹抖动。
  • Decoder（表达者）：
    • 职责：作为接口，将Planner生成的隐状态 Sk “翻译”为自然语言文本。
    • 机制：仅以当前聚合状态 SkSk​ 为条件生成文本片段 ykyk​ 。这种瓶颈设计迫使Planner必须在隐状态中 encapsulate 完整的语义信息。

2. 训练策略

  • 监督微调（SFT） via 重建损失：
    • 目标是最小化重建文本与真实CoT步骤的交叉熵。
    • 去噪增强：在训练时向隐状态注入高斯噪声，强迫Decoder学习流形结构而非死记硬背点映射，提升鲁棒性。
  • 强化学习（RL） via 解耦GRPO：
    • 关键设计：冻结Planner参数，仅优化Decoder。
    • 目的：保持底层推理拓扑（“大脑”）的稳定性，避免RL奖励黑客行为破坏逻辑一致性；仅优化言语化策略（“嘴巴”），探索同一隐状态下的多种表达方式以最大化正确率。

3. 高效推理：惰性解码（Lazy Decoding）

利用解耦特性，PLaT实现了高效的测试时流程：

  1. 隐式推进：Planner生成下一个隐状态 SkSk​ 。
  2. 语义探针：仅对 SkSk​ 进行单Token贪心解码作为探测。
    • 若探测Token不是“答案起始符”，则丢弃该Token，继续生成下一个隐状态（跳过冗长的中间文本生成）。
    • 若探测到“答案起始符”，则暂停规划，完整解码最终答案。
  3. 优势：大幅减少中间步骤的Token生成开销，同时保留按需检查推理链的能力。

三、实验验证与核心发现

1. 实验设置

  • 骨干模型：GPT-2 Small（为了与现有隐式推理基线公平对比）。
  • 数据集：GSM8K（训练/测试），GSM-HARD, SVAMP, MultiArith（分布外测试）。
  • 基线：CoT-SFT, Coconut, CODI。
  • 指标：
    • Greedy Accuracy：衡量单一最佳路径的准确率（利用能力）。
    • Pass@k：衡量采样 kk 条路径中至少一条正确的概率（探索能力/解空间质量）。

2. 核心结果：精度与多样性的权衡

  • 贪心精度略低：在Greedy解码下，PLaT的准确率低于Coconut和CODI，更远低于显式CoT。这表明将推理压缩到隐空间确实存在信息损失，且模型未过度拟合单一路径。
  • 多样性显著领先（Pass@k）：
    • 随着 kk 增大（32 -> 128），PLaT的Pass@k曲线斜率明显更陡，且在 k=128k=128 时全面超越基线（例如在GSM8K上达到74.2%，优于Coconut的66.7%）。
    • 结论：PLaT学习到了一个更宽广、更鲁棒的解空间流形，而非记忆狭窄的黄金路径。它保留了更多潜在的Correct Paths，非常适合配合搜索算法使用。

3. 效率分析

  • 速度提升：相比显式CoT，PLaT通过惰性解码减少了约56%的推理延迟。
  • 对比隐式基线：虽然比Coconut稍慢（因需探针检测），但远快于CODI，且提供了Coconut不具备的可解释性。

4. 隐状态分析：可解释的规划树

  • 分支因子（Branching Factor）：PLaT在推理全程维持比CoT更高的语义分支数，证明其隐状态确实编码了多重可能性。
  • 有效分支（Valid Branch Count）：虽然初期有效分支较少，但在推理后期，PLaT保留的有效路径数量反超CoT。这说明PLaT能更好地维持长程推理中的多样性而不崩塌。
  • 案例可视化：在同一个隐状态下，Decoder可以采样出多种数学表达（如小数、分数、直接减法），其中包含被贪心路径忽略的正确逻辑。

四、案例直观展示

场景：多步数学应用题

  • 问题：某程序第1个月下载60次，第2个月是第1个月的3倍，第3个月减少30%。求总下载量。
  • PLaT的表现：
    • 贪心路径（失败）：在第3步计算减少量时，错误地选择了某种表达导致计算偏差。
    • 隐状态采样（成功）：从同一个隐状态出发，采样出的其他路径中包含了正确的逻辑（如 180×0.7180×0.7 或 180−180×0.3180−180×0.3 ）。
    • 启示：错误并非因为模型“不知道”正确解法，而是贪心解码在言语化阶段“选错了词”。正确解法的信息完好地保存在隐规划状态中。

五、总结与组会启示

1. 核心结论

PLaT成功地将隐式推理从“黑盒压缩”转变为**“透明规划”**。它证明了：

  • 解耦的价值：分离思考（连续、确定性、多路径叠加）与表达（离散、随机、单路径实现）能显著提升系统的探索能力。
  • 新的权衡范式：在推理系统中，贪心精度不再是唯一指标。对于复杂任务，拥有一个高多样性、高召回率的解空间（高Pass@k）可能比单一的强路径更有价值，尤其是结合测试时搜索时。
  • 动态适应性：无需固定步数的设计更符合智能体的认知规律。