👋 你好，我是 Howard Atri

《PLaT: Latent Chain-of-Thought as Planning》笔记 —— 将隐式推理重构为规划：解耦“思考”与“表达” 一、核心问题与创新动机 1. 现有推理范式的瓶颈 当前大语言模型（LLM）的推理主要依赖思维链（CoT），即在离散Token空间中逐步生成文本。这种范式存在两个根本性缺陷： 推理路径坍塌（Reasoning Path Collapse）：在每一步生成中，模型必须从词表中选择一个确定的Token，这导致其他潜在的正确推理路径被强制剪枝。一旦早期步骤出现次优选择，后续很难修正，造成不可逆的错误。 计算冗余与僵化：显式CoT需要生成大量中间文本Token，计算成本高。而现有的隐式推理（Latent Reasoning）方法（如Coconut, CODI）虽然将部分推理压缩到连续隐空间，但通常作为“黑盒”端到端优化，且推理步数固定，无法根据问题难度动态调整，缺乏人类“系统2”思维的灵活性。 2. 创新性解决方案：PLaT (Planning with Latent Thoughts) 本文提出 PLaT 框架，核心思想是从根本上解耦“推理（思考）”与“言语化（表达）”。 核心定义：将推理建模为连续隐空间中的确定性规划轨迹（Deterministic Trajectory of Latent Planning States），而言语化仅作为必要时将隐状态“落地”为文本的独立过程。 本质突破： 透明规划（Glass-box Planning）：不同于以往的黑盒隐式推理，PLaT的隐状态是可解释、可探查的规划节点。 动态终止（Dynamic Termination）：模型可根据隐状态自行判断何时结束推理并输出答案，无需预设固定步数。 探索与利用的权衡：PLaT牺牲了部分贪心解码（Greedy Decoding）的准确率，换取了极高的推理多样性（Diversity），使其成为基于搜索的推理（如ToT, Best-of-N）的理想生成器。 二、核心架构与方法论 1. 双模块架构：Planner + Decoder PLaT由两个功能明确分离的组件构成，通过投影层交互： Planner（规划者）： 职责：在连续隐流形上自回归地演化推理轨迹。 机制：接收问题嵌入，生成一系列细粒度的隐状态序列 Sk={sk,1,…,sk,NL}Sk​={sk,1​,…,sk,NL​​} 。这些状态是确定性的向量，保留了多种逻辑可能性的“叠加态”。 稳定性设计：引入**指数移动平均（EMA）**机制，聚合历史隐状态，形成稳定的规划上下文，防止轨迹抖动。 Decoder（表达者）： 职责：作为接口，将Planner生成的隐状态 Sk “翻译”为自然语言文本。 机制：仅以当前聚合状态 SkSk​ 为条件生成文本片段 ykyk​ 。这种瓶颈设计迫使Planner必须在隐状态中 encapsulate 完整的语义信息。 2. 训练策略 监督微调（SFT） via 重建损失： 目标是最小化重建文本与真实CoT步骤的交叉熵。 去噪增强：在训练时向隐状态注入高斯噪声，强迫Decoder学习流形结构而非死记硬背点映射，提升鲁棒性。 强化学习（RL） via 解耦GRPO： 关键设计：冻结Planner参数，仅优化Decoder。 目的：保持底层推理拓扑（“大脑”）的稳定性，避免RL奖励黑客行为破坏逻辑一致性；仅优化言语化策略（“嘴巴”），探索同一隐状态下的多种表达方式以最大化正确率。 3. 高效推理：惰性解码（Lazy Decoding） 利用解耦特性，PLaT实现了高效的测试时流程： ...

我都不敢相信夏天居然结束了。这个夏天结束的好仓促，转瞬即逝就要跟这个夏天告别了。在这个没有朋友的暑假，就连夏天也要离我而去。说真的，这个夏天太平常了，就像我的生活，索然无味，平平淡淡。炙热的太阳也驱散不了内心的阴暗。阳光恍的让我失去对社交的判断。窗外的吵闹渐渐盖过床头的风扇，晚风吹过脸颊让我更加忧郁寡淡。今年的夏天又是无所事事的过去了。我总在想，夏天不会再像以前一样快乐了。似乎所有人都在急切的成长，匆匆跑着。为了更好的未来，而跟生活拼的你死我活的时候，我却连憧憬未来的勇气都没有。可能炎热的盛夏没有照亮我的结局，让我原地踏步。所以人能感受多少次夏天呢？会不会这是我的最后一次的夏天了？不过我还是相信，总有人活在那个夏天，祝愿你的夏天永远轰轰烈烈。

LaSER: Internalizing Explicit Reasoning into Latent Space for Dense Retrieval 作者： 金嘉杰,张延昭,李明鑫,龙定坤, 谢朋峻,朱玉韬,窦志成 中国人民大学高瓴人工智能学院,阿里巴巴通义实验室 一、核心问题与创新 当前基于LLM（大语言模型）的密集检索（Dense Retrieval）发展面临着一个核心矛盾：生成式模型的推理潜力被浪费，且缺乏高效的复杂推理解决方案 。 具体来说，这个问题体现在两个层面： 显式推理效率低下 (High Latency in Explicit Reasoning)： 面对复杂的查询（如多跳逻辑、隐式意图），现有主流方案是“重写后检索 (rewrite-then-retrieve)”的流水线，即利用外部LLM生成显式的思维链 (CoT) 基本原理后再进行检索 。 虽然性能好，但依赖冗长的自回归文本生成，导致了令人望而却步的推理延迟瓶颈 。 隐式推理缺乏监督 (Semantic Degeneration in Implicit Reasoning)： 近期有一些隐式推理方法让模型在嵌入空间生成“潜在思考标记 (latent thinking tokens)”以规避延迟 。 但由于缺乏显式的语义监督，仅靠最终的对比学习损失，这些潜在标记往往会发生语义退化，无法准确捕获检索所需的关键信息 。 因此，本文的核心命题是：如何将LLM强大的显式推理能力“内化 (internalize)”到密集检索器的潜在空间中，既保留推理深度，又兼顾检索效率？ 针对以上问题，本文的创新性解决方案是提出了 LaSER (Latent Space Explicit Reasoning) 框架 。 这篇文章的核心贡献在于： 提出双视图自蒸馏框架：在统一的共享骨干网络中，将显式的CoT推理作为特权监督（教师），指导轻量级的潜在思考（学生）。 设计多粒度对齐机制 (Multi-grained alignment)：不仅对齐最终的输出表示，还首创了“轨迹对齐 (trajectory alignment)”机制，强制中间的潜在状态与显式推理片段的语义演进同步，有效防止了隐式推理的退化 。 实现性能与效率的完美折中：成功结合了显式CoT流水线的推理深度与标准密集检索器的推理效率，在仅增加极少计算开销的情况下大幅提升了复杂检索性能 。 二、核心架构 LaSER的核心是一个基于统一生成式LLM骨干的双视图 (Dual-View) 训练范式 。整个架构的设计思想在于“训练时双轨制，推理时单轨制” 。 显式视图 (Explicit-View) —— 充当“语义教师” 功能：在训练阶段提供语义上限和特权知识 。 处理过程：将原始查询、外部高级推理器（如GPT-4o-mini）生成的高质量显式CoT文本以及[EOS]标记拼接在一起作为输入 。 输出：通过单次前向传播，提取最后一个标记的隐藏状态作为包含显式推理逻辑的最终表示 $v_q^*$ 。 ...

论文笔记:《Rethinking Reasoning in Document Ranking: Why Chain-of-Thought Falls Short》 arxiv25 作者: Xuan Lu, Haohang Huang, Rui Meng, Yaohui Jin, Wenjun Zeng, Xiaoyu Shen 机构: Shanghai Jiao Tong University, Eastern Institute of Technology, Ningbo 1. 研究背景 1.1 问题定义 文档重排序 (Document Reranking) 是 IR 系统的关键组件，用于精炼检索结果，提升排序质量 。 受大型推理模型 (LRMs, 如 DeepSeek-R1, o1) 的启发，近期研究开始将显式的“思维链”(CoT) 推理引入 LLM Reranker 。 via supervised fine-tuning Weller et al. (2025); Ji et al. (2025); Yang et al. (2025) or using reinforcement learning Zhang et al. (2025); Zhuang et al. (2025); Liu et al. (2025). ...

Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning 2025.8.5 作者:Bowen Jin , Hansi Zeng , Zhenrui Yue , Jinsung Yoon $^{3}$ , Sercan Ö. Arik $^{3}$ , Dong Wang , Hamed Zamani , ==Jiawei Han== deepseek r1+搜索引擎 目录 一、核心问题与创新 二、核心架构 RL 训练框架: 将搜索引擎建模为环境的一部分，支持 PPO 和 GRPO。 多轮交错交互: 支持“推理-搜索-再推理”的动态链条。 检索 Token 掩码: 关键的稳定训练技术，仅优化模型生成的 Token。 奖励机制: 证明了简单的结果导向奖励足以涌现复杂的搜索行为。 三、实验 1、实验目标 2、基准与指标 3、核心结果与对比分析 一、核心问题与创新 当前 LLM 在处理需要外部知识的复杂任务时面临的核心瓶颈：不仅需要推理能力，还需要高效获取最新信息的能力，而现有的结合方式并不完美。 具体体现在两个层面： RAG 的局限性：传统的 RAG（检索增强生成）通常是“先检索后生成”的静态流程。LLM 并没有经过训练去学习“如何与搜索引擎交互”，仅仅是被动接收检索结果，这在处理复杂多跳问题时往往效果不佳 4。 ...

这是我的第一篇博客文章！🎉 为什么建立这个网站？ 我一直想要一个属于自己的地方，记录技术学习和生活感悟。GitHub Pages 提供了一个免费且简单的方案，让我可以用 Markdown 轻松地写博客。 这个网站有什么？ 博客：记录技术学习、项目经验和生活感悟 工具：一些实用的在线小工具，比如计时器、秒表等 技术栈 本站使用以下技术构建： Hugo - 静态网站生成器 PaperMod - 简洁优雅的主题 GitHub Pages - 免费托管 下一步计划 添加更多博客文章 优化工具页面的样式 添加搜索功能 考虑添加评论系统 感谢你的访问！如果你有任何问题或建议，欢迎通过邮箱联系我。