https://howardatri.github.io/tags/latent/Recent content in Latent on howardatriHugozh-cnThu, 17 Sep 2026 21:21:32 +0800https://howardatri.github.io/posts/plat/Thu, 17 Sep 2026 21:21:32 +0800https://howardatri.github.io/posts/plat/<h1 id="plat-latent-chain-of-thought-as-planning笔记">《PLaT: Latent Chain-of-Thought as Planning》笔记</h1> <p><strong>—— 将隐式推理重构为规划：解耦“思考”与“表达”</strong></p> <h2 id="一核心问题与创新动机">一、核心问题与创新动机</h2> <h3 id="1-现有推理范式的瓶颈">1. 现有推理范式的瓶颈</h3> <p>当前大语言模型（LLM）的推理主要依赖<strong>思维链（CoT）</strong>，即在离散Token空间中逐步生成文本。这种范式存在两个根本性缺陷：</p> <ul> <li><strong>推理路径坍塌（Reasoning Path Collapse）</strong>：在每一步生成中，模型必须从词表中选择一个确定的Token，这导致其他潜在的正确推理路径被强制剪枝。一旦早期步骤出现次优选择，后续很难修正，造成不可逆的错误。</li> <li><strong>计算冗余与僵化</strong>：显式CoT需要生成大量中间文本Token，计算成本高。而现有的<strong>隐式推理（Latent Reasoning）<strong>方法（如Coconut, CODI）虽然将部分推理压缩到连续隐空间，但通常作为“黑盒”端到端优化，且</strong>推理步数固定</strong>，无法根据问题难度动态调整，缺乏人类“系统2”思维的灵活性。</li> </ul> <h3 id="2-创新性解决方案plat-planning-with-latent-thoughts">2. 创新性解决方案：PLaT (Planning with Latent Thoughts)</h3> <p>本文提出 <strong>PLaT</strong> 框架，核心思想是<strong>从根本上解耦“推理（思考）”与“言语化（表达）”</strong>。</p> <ul> <li><strong>核心定义</strong>：将推理建模为连续隐空间中的<strong>确定性规划轨迹（Deterministic Trajectory of Latent Planning States）</strong>，而言语化仅作为必要时将隐状态“落地”为文本的独立过程。</li> <li><strong>本质突破</strong>： <ul> <li><strong>透明规划（Glass-box Planning）</strong>：不同于以往的黑盒隐式推理，PLaT的隐状态是可解释、可探查的规划节点。</li> <li><strong>动态终止（Dynamic Termination）</strong>：模型可根据隐状态自行判断何时结束推理并输出答案，无需预设固定步数。</li> <li><strong>探索与利用的权衡</strong>：PLaT牺牲了部分贪心解码（Greedy Decoding）的准确率，换取了<strong>极高的推理多样性（Diversity）</strong>，使其成为基于搜索的推理（如ToT, Best-of-N）的理想生成器。</li> </ul> </li> </ul> <hr> <h2 id="二核心架构与方法论">二、核心架构与方法论</h2> <h3 id="1-双模块架构planner--decoder">1. 双模块架构：Planner + Decoder</h3> <p>PLaT由两个功能明确分离的组件构成，通过投影层交互：</p> <ul> <li><strong>Planner（规划者）</strong>： <ul> <li><strong>职责</strong>：在连续隐流形上自回归地演化推理轨迹。</li> <li><strong>机制</strong>：接收问题嵌入，生成一系列细粒度的隐状态序列 Sk={sk,1,&hellip;,sk,NL}Sk​={sk,1​,&hellip;,sk,NL​​} 。这些状态是确定性的向量，保留了多种逻辑可能性的“叠加态”。</li> <li><strong>稳定性设计</strong>：引入**指数移动平均（EMA）**机制，聚合历史隐状态，形成稳定的规划上下文，防止轨迹抖动。</li> </ul> </li> <li><strong>Decoder（表达者）</strong>： <ul> <li><strong>职责</strong>：作为接口，将Planner生成的隐状态 Sk “翻译”为自然语言文本。</li> <li><strong>机制</strong>：仅以当前聚合状态 SkSk​ 为条件生成文本片段 ykyk​ 。这种瓶颈设计迫使Planner必须在隐状态中 encapsulate 完整的语义信息。</li> </ul> </li> </ul> <h3 id="2-训练策略">2. 训练策略</h3> <ul> <li><strong>监督微调（SFT） via 重建损失</strong>： <ul> <li>目标是最小化重建文本与真实CoT步骤的交叉熵。</li> <li><strong>去噪增强</strong>：在训练时向隐状态注入高斯噪声，强迫Decoder学习流形结构而非死记硬背点映射，提升鲁棒性。</li> </ul> </li> <li><strong>强化学习（RL） via 解耦GRPO</strong>： <ul> <li><strong>关键设计</strong>：<strong>冻结Planner参数</strong>，仅优化Decoder。</li> <li><strong>目的</strong>：保持底层推理拓扑（“大脑”）的稳定性，避免RL奖励黑客行为破坏逻辑一致性；仅优化言语化策略（“嘴巴”），探索同一隐状态下的多种表达方式以最大化正确率。</li> </ul> </li> </ul> <h3 id="3-高效推理惰性解码lazy-decoding">3. 高效推理：惰性解码（Lazy Decoding）</h3> <p>利用解耦特性，PLaT实现了高效的测试时流程：</p>