PLAT

Thu, 17 Sep 2026 21:21:32 +0800

《PLaT: Latent Chain-of-Thought as Planning》笔记

—— 将隐式推理重构为规划：解耦“思考”与“表达”

当前大语言模型（LLM）的推理主要依赖思维链（CoT），即在离散Token空间中逐步生成文本。这种范式存在两个根本性缺陷：

推理路径坍塌（Reasoning Path Collapse）：在每一步生成中，模型必须从词表中选择一个确定的Token，这导致其他潜在的正确推理路径被强制剪枝。一旦早期步骤出现次优选择，后续很难修正，造成不可逆的错误。
计算冗余与僵化：显式CoT需要生成大量中间文本Token，计算成本高。而现有的隐式推理（Latent Reasoning）方法（如Coconut, CODI）虽然将部分推理压缩到连续隐空间，但通常作为“黑盒”端到端优化，且推理步数固定，无法根据问题难度动态调整，缺乏人类“系统2”思维的灵活性。

本文提出 PLaT 框架，核心思想是从根本上解耦“推理（思考）”与“言语化（表达）”。

核心定义：将推理建模为连续隐空间中的确定性规划轨迹（Deterministic Trajectory of Latent Planning States），而言语化仅作为必要时将隐状态“落地”为文本的独立过程。
本质突破：
- 透明规划（Glass-box Planning）：不同于以往的黑盒隐式推理，PLaT的隐状态是可解释、可探查的规划节点。
- 动态终止（Dynamic Termination）：模型可根据隐状态自行判断何时结束推理并输出答案，无需预设固定步数。
- 探索与利用的权衡：PLaT牺牲了部分贪心解码（Greedy Decoding）的准确率，换取了极高的推理多样性（Diversity），使其成为基于搜索的推理（如ToT, Best-of-N）的理想生成器。

PLaT由两个功能明确分离的组件构成，通过投影层交互：

Planner（规划者）：
- 职责：在连续隐流形上自回归地演化推理轨迹。
- 机制：接收问题嵌入，生成一系列细粒度的隐状态序列 Sk={sk,1,…,sk,NL}Sk={sk,1,…,sk,NL} 。这些状态是确定性的向量，保留了多种逻辑可能性的“叠加态”。
- 稳定性设计：引入**指数移动平均（EMA）**机制，聚合历史隐状态，形成稳定的规划上下文，防止轨迹抖动。
Decoder（表达者）：
- 职责：作为接口，将Planner生成的隐状态 Sk “翻译”为自然语言文本。
- 机制：仅以当前聚合状态 SkSk 为条件生成文本片段 ykyk 。这种瓶颈设计迫使Planner必须在隐状态中 encapsulate 完整的语义信息。

监督微调（SFT） via 重建损失：
- 目标是最小化重建文本与真实CoT步骤的交叉熵。
- 去噪增强：在训练时向隐状态注入高斯噪声，强迫Decoder学习流形结构而非死记硬背点映射，提升鲁棒性。
强化学习（RL） via 解耦GRPO：
- 关键设计：冻结Planner参数，仅优化Decoder。
- 目的：保持底层推理拓扑（“大脑”）的稳定性，避免RL奖励黑客行为破坏逻辑一致性；仅优化言语化策略（“嘴巴”），探索同一隐状态下的多种表达方式以最大化正确率。

利用解耦特性，PLaT实现了高效的测试时流程：

Sun, 09 Aug 2026 20:39:00 +0800

作者：金嘉杰,张延昭,李明鑫,龙定坤, 谢朋峻,朱玉韬,窦志成中国人民大学高瓴人工智能学院,阿里巴巴通义实验室

当前基于LLM（大语言模型）的密集检索（Dense Retrieval）发展面临着一个核心矛盾：生成式模型的推理潜力被浪费，且缺乏高效的复杂推理解决方案。

具体来说，这个问题体现在两个层面：

显式推理效率低下 (High Latency in Explicit Reasoning)：
- 面对复杂的查询（如多跳逻辑、隐式意图），现有主流方案是“重写后检索 (rewrite-then-retrieve)”的流水线，即利用外部LLM生成显式的思维链 (CoT) 基本原理后再进行检索。
- 虽然性能好，但依赖冗长的自回归文本生成，导致了令人望而却步的推理延迟瓶颈。
隐式推理缺乏监督 (Semantic Degeneration in Implicit Reasoning)：
- 近期有一些隐式推理方法让模型在嵌入空间生成“潜在思考标记 (latent thinking tokens)”以规避延迟。
- 但由于缺乏显式的语义监督，仅靠最终的对比学习损失，这些潜在标记往往会发生语义退化，无法准确捕获检索所需的关键信息。

因此，本文的核心命题是：如何将LLM强大的显式推理能力“内化 (internalize)”到密集检索器的潜在空间中，既保留推理深度，又兼顾检索效率？

针对以上问题，本文的创新性解决方案是提出了 LaSER (Latent Space Explicit Reasoning) 框架。这篇文章的核心贡献在于：

提出双视图自蒸馏框架：在统一的共享骨干网络中，将显式的CoT推理作为特权监督（教师），指导轻量级的潜在思考（学生）。
设计多粒度对齐机制 (Multi-grained alignment)：不仅对齐最终的输出表示，还首创了“轨迹对齐 (trajectory alignment)”机制，强制中间的潜在状态与显式推理片段的语义演进同步，有效防止了隐式推理的退化。
实现性能与效率的完美折中：成功结合了显式CoT流水线的推理深度与标准密集检索器的推理效率，在仅增加极少计算开销的情况下大幅提升了复杂检索性能。

LaSER的核心是一个基于统一生成式LLM骨干的双视图 (Dual-View) 训练范式。整个架构的设计思想在于“训练时双轨制，推理时单轨制” 。

显式视图 (Explicit-View) —— 充当“语义教师”
- 功能：在训练阶段提供语义上限和特权知识。
- 处理过程：将原始查询、外部高级推理器（如GPT-4o-mini）生成的高质量显式CoT文本以及[EOS]标记拼接在一起作为输入。
- 输出：通过单次前向传播，提取最后一个标记的隐藏状态作为包含显式推理逻辑的最终表示 $v_q^*$ 。