PLAT
《PLaT: Latent Chain-of-Thought as Planning》笔记 —— 将隐式推理重构为规划：解耦“思考”与“表达” 一、核心问题与创新动机 1. 现有推理范式的瓶颈 当前大语言模型（LLM）的推理主要依赖思维链（CoT），即在离散Token空间中逐步生成文本。这种范式存在两个根本性缺陷： 推理路径坍塌（Reasoning Path Collapse）：在每一步生成中，模型必须从词表中选择一个确定的Token，这导致其他潜在的正确推理路径被强制剪枝。一旦早期步骤出现次优选择，后续很难修正，造成不可逆的错误。 计算冗余与僵化：显式CoT需要生成大量中间文本Token，计算成本高。而现有的隐式推理（Latent Reasoning）方法（如Coconut, CODI）虽然将部分推理压缩到连续隐空间，但通常作为“黑盒”端到端优化，且推理步数固定，无法根据问题难度动态调整，缺乏人类“系统2”思维的灵活性。 2. 创新性解决方案：PLaT (Planning with Latent Thoughts) 本文提出 PLaT 框架，核心思想是从根本上解耦“推理（思考）”与“言语化（表达）”。 核心定义：将推理建模为连续隐空间中的确定性规划轨迹（Deterministic Trajectory of Latent Planning States），而言语化仅作为必要时将隐状态“落地”为文本的独立过程。 本质突破： 透明规划（Glass-box Planning）：不同于以往的黑盒隐式推理，PLaT的隐状态是可解释、可探查的规划节点。 动态终止（Dynamic Termination）：模型可根据隐状态自行判断何时结束推理并输出答案，无需预设固定步数。 探索与利用的权衡：PLaT牺牲了部分贪心解码（Greedy Decoding）的准确率，换取了极高的推理多样性（Diversity），使其成为基于搜索的推理（如ToT, Best-of-N）的理想生成器。 二、核心架构与方法论 1. 双模块架构：Planner + Decoder PLaT由两个功能明确分离的组件构成，通过投影层交互： Planner（规划者）： 职责：在连续隐流形上自回归地演化推理轨迹。 机制：接收问题嵌入，生成一系列细粒度的隐状态序列 Sk={sk,1,…,sk,NL}Sk={sk,1,…,sk,NL} 。这些状态是确定性的向量，保留了多种逻辑可能性的“叠加态”。 稳定性设计：引入**指数移动平均（EMA）**机制，聚合历史隐状态，形成稳定的规划上下文，防止轨迹抖动。 Decoder（表达者）： 职责：作为接口，将Planner生成的隐状态 Sk “翻译”为自然语言文本。 机制：仅以当前聚合状态 SkSk 为条件生成文本片段 ykyk 。这种瓶颈设计迫使Planner必须在隐状态中 encapsulate 完整的语义信息。 2. 训练策略 监督微调（SFT） via 重建损失： 目标是最小化重建文本与真实CoT步骤的交叉熵。 去噪增强：在训练时向隐状态注入高斯噪声，强迫Decoder学习流形结构而非死记硬背点映射，提升鲁棒性。 强化学习（RL） via 解耦GRPO： 关键设计：冻结Planner参数，仅优化Decoder。 目的：保持底层推理拓扑（“大脑”）的稳定性，避免RL奖励黑客行为破坏逻辑一致性；仅优化言语化策略（“嘴巴”），探索同一隐状态下的多种表达方式以最大化正确率。 3. 高效推理：惰性解码（Lazy Decoding） 利用解耦特性，PLaT实现了高效的测试时流程： ...