[{"content":"《PLaT: Latent Chain-of-Thought as Planning》笔记 —— 将隐式推理重构为规划：解耦“思考”与“表达”\n一、核心问题与创新动机 1. 现有推理范式的瓶颈 当前大语言模型（LLM）的推理主要依赖思维链（CoT），即在离散Token空间中逐步生成文本。这种范式存在两个根本性缺陷：\n推理路径坍塌（Reasoning Path Collapse）：在每一步生成中，模型必须从词表中选择一个确定的Token，这导致其他潜在的正确推理路径被强制剪枝。一旦早期步骤出现次优选择，后续很难修正，造成不可逆的错误。 计算冗余与僵化：显式CoT需要生成大量中间文本Token，计算成本高。而现有的隐式推理（Latent Reasoning）方法（如Coconut, CODI）虽然将部分推理压缩到连续隐空间，但通常作为“黑盒”端到端优化，且推理步数固定，无法根据问题难度动态调整，缺乏人类“系统2”思维的灵活性。 2. 创新性解决方案：PLaT (Planning with Latent Thoughts) 本文提出 PLaT 框架，核心思想是从根本上解耦“推理（思考）”与“言语化（表达）”。\n核心定义：将推理建模为连续隐空间中的确定性规划轨迹（Deterministic Trajectory of Latent Planning States），而言语化仅作为必要时将隐状态“落地”为文本的独立过程。 本质突破： 透明规划（Glass-box Planning）：不同于以往的黑盒隐式推理，PLaT的隐状态是可解释、可探查的规划节点。 动态终止（Dynamic Termination）：模型可根据隐状态自行判断何时结束推理并输出答案，无需预设固定步数。 探索与利用的权衡：PLaT牺牲了部分贪心解码（Greedy Decoding）的准确率，换取了极高的推理多样性（Diversity），使其成为基于搜索的推理（如ToT, Best-of-N）的理想生成器。 二、核心架构与方法论 1. 双模块架构：Planner + Decoder PLaT由两个功能明确分离的组件构成，通过投影层交互：\nPlanner（规划者）： 职责：在连续隐流形上自回归地演化推理轨迹。 机制：接收问题嵌入，生成一系列细粒度的隐状态序列 Sk={sk,1,\u0026hellip;,sk,NL}Sk​={sk,1​,\u0026hellip;,sk,NL​​} 。这些状态是确定性的向量，保留了多种逻辑可能性的“叠加态”。 稳定性设计：引入**指数移动平均（EMA）**机制，聚合历史隐状态，形成稳定的规划上下文，防止轨迹抖动。 Decoder（表达者）： 职责：作为接口，将Planner生成的隐状态 Sk “翻译”为自然语言文本。 机制：仅以当前聚合状态 SkSk​ 为条件生成文本片段 ykyk​ 。这种瓶颈设计迫使Planner必须在隐状态中 encapsulate 完整的语义信息。 2. 训练策略 监督微调（SFT） via 重建损失： 目标是最小化重建文本与真实CoT步骤的交叉熵。 去噪增强：在训练时向隐状态注入高斯噪声，强迫Decoder学习流形结构而非死记硬背点映射，提升鲁棒性。 强化学习（RL） via 解耦GRPO： 关键设计：冻结Planner参数，仅优化Decoder。 目的：保持底层推理拓扑（“大脑”）的稳定性，避免RL奖励黑客行为破坏逻辑一致性；仅优化言语化策略（“嘴巴”），探索同一隐状态下的多种表达方式以最大化正确率。 3. 高效推理：惰性解码（Lazy Decoding） 利用解耦特性，PLaT实现了高效的测试时流程：\n隐式推进：Planner生成下一个隐状态 SkSk​ 。 语义探针：仅对 SkSk​ 进行单Token贪心解码作为探测。 若探测Token不是“答案起始符”，则丢弃该Token，继续生成下一个隐状态（跳过冗长的中间文本生成）。 若探测到“答案起始符”，则暂停规划，完整解码最终答案。 优势：大幅减少中间步骤的Token生成开销，同时保留按需检查推理链的能力。 三、实验验证与核心发现 1. 实验设置 骨干模型：GPT-2 Small（为了与现有隐式推理基线公平对比）。 数据集：GSM8K（训练/测试），GSM-HARD, SVAMP, MultiArith（分布外测试）。 基线：CoT-SFT, Coconut, CODI。 指标： Greedy Accuracy：衡量单一最佳路径的准确率（利用能力）。 Pass@k：衡量采样 kk 条路径中至少一条正确的概率（探索能力/解空间质量）。 2. 核心结果：精度与多样性的权衡 贪心精度略低：在Greedy解码下，PLaT的准确率低于Coconut和CODI，更远低于显式CoT。这表明将推理压缩到隐空间确实存在信息损失，且模型未过度拟合单一路径。 多样性显著领先（Pass@k）： 随着 kk 增大（32 -\u0026gt; 128），PLaT的Pass@k曲线斜率明显更陡，且在 k=128k=128 时全面超越基线（例如在GSM8K上达到74.2%，优于Coconut的66.7%）。 结论：PLaT学习到了一个更宽广、更鲁棒的解空间流形，而非记忆狭窄的黄金路径。它保留了更多潜在的Correct Paths，非常适合配合搜索算法使用。 3. 效率分析 速度提升：相比显式CoT，PLaT通过惰性解码减少了约56%的推理延迟。 对比隐式基线：虽然比Coconut稍慢（因需探针检测），但远快于CODI，且提供了Coconut不具备的可解释性。 4. 隐状态分析：可解释的规划树 分支因子（Branching Factor）：PLaT在推理全程维持比CoT更高的语义分支数，证明其隐状态确实编码了多重可能性。 有效分支（Valid Branch Count）：虽然初期有效分支较少，但在推理后期，PLaT保留的有效路径数量反超CoT。这说明PLaT能更好地维持长程推理中的多样性而不崩塌。 案例可视化：在同一个隐状态下，Decoder可以采样出多种数学表达（如小数、分数、直接减法），其中包含被贪心路径忽略的正确逻辑。 四、案例直观展示 场景：多步数学应用题\n问题：某程序第1个月下载60次，第2个月是第1个月的3倍，第3个月减少30%。求总下载量。 PLaT的表现： 贪心路径（失败）：在第3步计算减少量时，错误地选择了某种表达导致计算偏差。 隐状态采样（成功）：从同一个隐状态出发，采样出的其他路径中包含了正确的逻辑（如 180×0.7180×0.7 或 180−180×0.3180−180×0.3 ）。 启示：错误并非因为模型“不知道”正确解法，而是贪心解码在言语化阶段“选错了词”。正确解法的信息完好地保存在隐规划状态中。 五、总结与组会启示 1. 核心结论 PLaT成功地将隐式推理从“黑盒压缩”转变为**“透明规划”**。它证明了：\n解耦的价值：分离思考（连续、确定性、多路径叠加）与表达（离散、随机、单路径实现）能显著提升系统的探索能力。 新的权衡范式：在推理系统中，贪心精度不再是唯一指标。对于复杂任务，拥有一个高多样性、高召回率的解空间（高Pass@k）可能比单一的强路径更有价值，尤其是结合测试时搜索时。 动态适应性：无需固定步数的设计更符合智能体的认知规律。 ","permalink":"https://howardatri.github.io/posts/plat/","summary":"\u003ch1 id=\"plat-latent-chain-of-thought-as-planning笔记\"\u003e《PLaT: Latent Chain-of-Thought as Planning》笔记\u003c/h1\u003e\n\u003cp\u003e\u003cstrong\u003e—— 将隐式推理重构为规划：解耦“思考”与“表达”\u003c/strong\u003e\u003c/p\u003e\n\u003ch2 id=\"一核心问题与创新动机\"\u003e一、核心问题与创新动机\u003c/h2\u003e\n\u003ch3 id=\"1-现有推理范式的瓶颈\"\u003e1. 现有推理范式的瓶颈\u003c/h3\u003e\n\u003cp\u003e当前大语言模型（LLM）的推理主要依赖\u003cstrong\u003e思维链（CoT）\u003c/strong\u003e，即在离散Token空间中逐步生成文本。这种范式存在两个根本性缺陷：\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e\u003cstrong\u003e推理路径坍塌（Reasoning Path Collapse）\u003c/strong\u003e：在每一步生成中，模型必须从词表中选择一个确定的Token，这导致其他潜在的正确推理路径被强制剪枝。一旦早期步骤出现次优选择，后续很难修正，造成不可逆的错误。\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003e计算冗余与僵化\u003c/strong\u003e：显式CoT需要生成大量中间文本Token，计算成本高。而现有的\u003cstrong\u003e隐式推理（Latent Reasoning）\u003cstrong\u003e方法（如Coconut, CODI）虽然将部分推理压缩到连续隐空间，但通常作为“黑盒”端到端优化，且\u003c/strong\u003e推理步数固定\u003c/strong\u003e，无法根据问题难度动态调整，缺乏人类“系统2”思维的灵活性。\u003c/li\u003e\n\u003c/ul\u003e\n\u003ch3 id=\"2-创新性解决方案plat-planning-with-latent-thoughts\"\u003e2. 创新性解决方案：PLaT (Planning with Latent Thoughts)\u003c/h3\u003e\n\u003cp\u003e本文提出 \u003cstrong\u003ePLaT\u003c/strong\u003e 框架，核心思想是\u003cstrong\u003e从根本上解耦“推理（思考）”与“言语化（表达）”\u003c/strong\u003e。\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e\u003cstrong\u003e核心定义\u003c/strong\u003e：将推理建模为连续隐空间中的\u003cstrong\u003e确定性规划轨迹（Deterministic Trajectory of Latent Planning States）\u003c/strong\u003e，而言语化仅作为必要时将隐状态“落地”为文本的独立过程。\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003e本质突破\u003c/strong\u003e：\n\u003cul\u003e\n\u003cli\u003e\u003cstrong\u003e透明规划（Glass-box Planning）\u003c/strong\u003e：不同于以往的黑盒隐式推理，PLaT的隐状态是可解释、可探查的规划节点。\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003e动态终止（Dynamic Termination）\u003c/strong\u003e：模型可根据隐状态自行判断何时结束推理并输出答案，无需预设固定步数。\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003e探索与利用的权衡\u003c/strong\u003e：PLaT牺牲了部分贪心解码（Greedy Decoding）的准确率，换取了\u003cstrong\u003e极高的推理多样性（Diversity）\u003c/strong\u003e，使其成为基于搜索的推理（如ToT, Best-of-N）的理想生成器。\u003c/li\u003e\n\u003c/ul\u003e\n\u003c/li\u003e\n\u003c/ul\u003e\n\u003chr\u003e\n\u003ch2 id=\"二核心架构与方法论\"\u003e二、核心架构与方法论\u003c/h2\u003e\n\u003ch3 id=\"1-双模块架构planner--decoder\"\u003e1. 双模块架构：Planner + Decoder\u003c/h3\u003e\n\u003cp\u003ePLaT由两个功能明确分离的组件构成，通过投影层交互：\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e\u003cstrong\u003ePlanner（规划者）\u003c/strong\u003e：\n\u003cul\u003e\n\u003cli\u003e\u003cstrong\u003e职责\u003c/strong\u003e：在连续隐流形上自回归地演化推理轨迹。\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003e机制\u003c/strong\u003e：接收问题嵌入，生成一系列细粒度的隐状态序列 Sk={sk,1,\u0026hellip;,sk,NL}Sk​={sk,1​,\u0026hellip;,sk,NL​​} 。这些状态是确定性的向量，保留了多种逻辑可能性的“叠加态”。\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003e稳定性设计\u003c/strong\u003e：引入**指数移动平均（EMA）**机制，聚合历史隐状态，形成稳定的规划上下文，防止轨迹抖动。\u003c/li\u003e\n\u003c/ul\u003e\n\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003eDecoder（表达者）\u003c/strong\u003e：\n\u003cul\u003e\n\u003cli\u003e\u003cstrong\u003e职责\u003c/strong\u003e：作为接口，将Planner生成的隐状态 Sk “翻译”为自然语言文本。\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003e机制\u003c/strong\u003e：仅以当前聚合状态 SkSk​ 为条件生成文本片段 ykyk​ 。这种瓶颈设计迫使Planner必须在隐状态中 encapsulate 完整的语义信息。\u003c/li\u003e\n\u003c/ul\u003e\n\u003c/li\u003e\n\u003c/ul\u003e\n\u003ch3 id=\"2-训练策略\"\u003e2. 训练策略\u003c/h3\u003e\n\u003cul\u003e\n\u003cli\u003e\u003cstrong\u003e监督微调（SFT） via 重建损失\u003c/strong\u003e：\n\u003cul\u003e\n\u003cli\u003e目标是最小化重建文本与真实CoT步骤的交叉熵。\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003e去噪增强\u003c/strong\u003e：在训练时向隐状态注入高斯噪声，强迫Decoder学习流形结构而非死记硬背点映射，提升鲁棒性。\u003c/li\u003e\n\u003c/ul\u003e\n\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003e强化学习（RL） via 解耦GRPO\u003c/strong\u003e：\n\u003cul\u003e\n\u003cli\u003e\u003cstrong\u003e关键设计\u003c/strong\u003e：\u003cstrong\u003e冻结Planner参数\u003c/strong\u003e，仅优化Decoder。\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003e目的\u003c/strong\u003e：保持底层推理拓扑（“大脑”）的稳定性，避免RL奖励黑客行为破坏逻辑一致性；仅优化言语化策略（“嘴巴”），探索同一隐状态下的多种表达方式以最大化正确率。\u003c/li\u003e\n\u003c/ul\u003e\n\u003c/li\u003e\n\u003c/ul\u003e\n\u003ch3 id=\"3-高效推理惰性解码lazy-decoding\"\u003e3. 高效推理：惰性解码（Lazy Decoding）\u003c/h3\u003e\n\u003cp\u003e利用解耦特性，PLaT实现了高效的测试时流程：\u003c/p\u003e","title":"PLAT"},{"content":"我都不敢相信夏天居然结束了。这个夏天结束的好仓促，转瞬即逝就要跟这个夏天告别了。在这个没有朋友的暑假，就连夏天也要离我而去。说真的，这个夏天太平常了，就像我的生活，索然无味，平平淡淡。炙热的太阳也驱散不了内心的阴暗。阳光恍的让我失去对社交的判断。窗外的吵闹渐渐盖过床头的风扇，晚风吹过脸颊让我更加忧郁寡淡。今年的夏天又是无所事事的过去了。我总在想，夏天不会再像以前一样快乐了。似乎所有人都在急切的成长，匆匆跑着。为了更好的未来，而跟生活拼的你死我活的时候，我却连憧憬未来的勇气都没有。可能炎热的盛夏没有照亮我的结局，让我原地踏步。所以人能感受多少次夏天呢？会不会这是我的最后一次的夏天了？不过我还是相信，总有人活在那个夏天，祝愿你的夏天永远轰轰烈烈。\n","permalink":"https://howardatri.github.io/posts/%E6%97%A0%E9%A2%98/","summary":"\u003cp\u003e我都不敢相信夏天居然结束了。这个夏天结束的好仓促，转瞬即逝就要跟这个夏天告别了。在这个没有朋友的暑假，就连夏天也要离我而去。说真的，这个夏天太平常了，就像我的生活，索然无味，平平淡淡。炙热的太阳也驱散不了内心的阴暗。阳光恍的让我失去对社交的判断。窗外的吵闹渐渐盖过床头的风扇，晚风吹过脸颊让我更加忧郁寡淡。今年的夏天又是无所事事的过去了。我总在想，夏天不会再像以前一样快乐了。似乎所有人都在急切的成长，匆匆跑着。为了更好的未来，而跟生活拼的你死我活的时候，我却连憧憬未来的勇气都没有。可能炎热的盛夏没有照亮我的结局，让我原地踏步。所以人能感受多少次夏天呢？会不会这是我的最后一次的夏天了？不过我还是相信，总有人活在那个夏天，祝愿你的夏天永远轰轰烈烈。\u003c/p\u003e","title":"无题"},{"content":"LaSER: Internalizing Explicit Reasoning into Latent Space for Dense Retrieval 作者： 金嘉杰,张延昭,李明鑫,龙定坤, 谢朋峻,朱玉韬,窦志成 中国人民大学高瓴人工智能学院,阿里巴巴通义实验室\n一、核心问题与创新 当前基于LLM（大语言模型）的密集检索（Dense Retrieval）发展面临着一个核心矛盾：生成式模型的推理潜力被浪费，且缺乏高效的复杂推理解决方案 。\n具体来说，这个问题体现在两个层面：\n显式推理效率低下 (High Latency in Explicit Reasoning)：\n面对复杂的查询（如多跳逻辑、隐式意图），现有主流方案是“重写后检索 (rewrite-then-retrieve)”的流水线，即利用外部LLM生成显式的思维链 (CoT) 基本原理后再进行检索 。\n虽然性能好，但依赖冗长的自回归文本生成，导致了令人望而却步的推理延迟瓶颈 。\n隐式推理缺乏监督 (Semantic Degeneration in Implicit Reasoning)：\n近期有一些隐式推理方法让模型在嵌入空间生成“潜在思考标记 (latent thinking tokens)”以规避延迟 。\n但由于缺乏显式的语义监督，仅靠最终的对比学习损失，这些潜在标记往往会发生语义退化，无法准确捕获检索所需的关键信息 。\n因此，本文的核心命题是：如何将LLM强大的显式推理能力“内化 (internalize)”到密集检索器的潜在空间中，既保留推理深度，又兼顾检索效率？\n针对以上问题，本文的创新性解决方案是提出了 LaSER (Latent Space Explicit Reasoning) 框架 。 这篇文章的核心贡献在于：\n提出双视图自蒸馏框架：在统一的共享骨干网络中，将显式的CoT推理作为特权监督（教师），指导轻量级的潜在思考（学生）。\n设计多粒度对齐机制 (Multi-grained alignment)：不仅对齐最终的输出表示，还首创了“轨迹对齐 (trajectory alignment)”机制，强制中间的潜在状态与显式推理片段的语义演进同步，有效防止了隐式推理的退化 。\n实现性能与效率的完美折中：成功结合了显式CoT流水线的推理深度与标准密集检索器的推理效率，在仅增加极少计算开销的情况下大幅提升了复杂检索性能 。\n二、核心架构 LaSER的核心是一个基于统一生成式LLM骨干的双视图 (Dual-View) 训练范式 。整个架构的设计思想在于“训练时双轨制，推理时单轨制” 。\n显式视图 (Explicit-View) —— 充当“语义教师”\n功能：在训练阶段提供语义上限和特权知识 。\n处理过程：将原始查询、外部高级推理器（如GPT-4o-mini）生成的高质量显式CoT文本以及[EOS]标记拼接在一起作为输入 。\n输出：通过单次前向传播，提取最后一个标记的隐藏状态作为包含显式推理逻辑的最终表示 $v_q^*$ 。\n潜在视图 (Latent-View) —— 充当“推理学生”\n功能：负责在不生成可见文本的情况下进行内部“思考”，是模型在实际部署推理(Inference)时的唯一运行模式 。\n连续软标记生成 (Soft Token Generation)：模型不采样离散的文本单词，而是在嵌入空间中自回归地生成 $K$ 个连续的“潜在思考标记 (latent thinking tokens)” 。这些标记可以关注到查询上下文和前序的思考步骤 。\n输出：经过 $K$ 步后，对这些思考状态进行平均池化 (mean-pooling)，得到最终的查询向量 $v_q$ 。\n多粒度自蒸馏优化 (Optimization via Self-Distillation) 为了让学生（潜在视图）学会教师（显式视图）的思考过程，模型设计了包含三个部分的联合训练目标：\n对比学习 (Contrastive Training)：双视图都需要使用InfoNCE损失来学习基础的文档区分能力 。\n输出级蒸馏 (Output-Level Distillation)：不直接强行对齐向量坐标，而是对齐两个视图给出的“文档相关性打分概率分布”，通过KL散度让潜在视图模仿显式视图的细粒度排序偏好 。\n过程级轨迹对齐 (Process-Level Trajectory Alignment)：这是本篇论文最具特色的设计 。为了防止思考过程变成黑盒，作者引入了“时间下采样 (Temporal Downsampling)”策略，将 $K$ 步简短的潜在步骤映射对齐到 $M$ 步冗长的显式推理片段上 。通过KL散度对齐中间状态，强制潜在标记像“语义检查点”一样严格逼近显式推理逻辑 。\n三、实验 1、实验目标 实验旨在解答三个核心问题：\nLaSER相比基础对比学习和其他基线方法的性能如何？\n多粒度自蒸馏策略（输出级+过程级）对模型有多大影响？\nLaSER能否在检索性能和推理延迟之间取得比现有方法更好的平衡？\n2、基准与指标 A、数据集\n训练集：使用ReasonEmb构建的合成数据集（81k条数据），由GPT-4o-mini生成显式推理路径 。\n测试集：选取了需要深度推理的基准，包括BRIGHT（域内）、FollowIR（域外）和BrowseComp-Plus（域外）。\n评估指标：常规的nDCG、Recall，以及考察指令遵循能力的p-MRR和MAP 。\nB、基准方法\n标准密集检索器：BGE-M3, E5-Large-Instruct, Qwen3-Embedding等 。\n流水线方法 (Rewrite-then-Retrieve)：外接7B模型重写Query后再检索 。\n显式推理检索器：Search-R3, InBedder等自带文本生成环节的模型 。\n隐式推理方法：GIRCSE（仅使用对比学习损失指导潜在标记的模型）。\n3、核心结果与对比分析 性能对比：全面超越\n碾压标准检索器：在BRIGHT数据集上，LaSER (Qwen3-8B) 取得了 29.3 的平均nDCG@10，远超未训练的原始模型 (14.0)，也大幅领先使用同等数据微调的公平基准 (25.7) 。这证明内化推理成功激活了LLM的潜力 。\n触及显式流水线的天花板：在不用生成任何可见文本的前提下，LaSER的得分甚至略微超越了需要耗费庞大算力进行文本重写的“Rewrite-then-Retrieve”流水线方案（超越了0.7到1.2个点）。\n优于现有隐式方案：在9个不同规模/数据集的实验设置中，LaSER有8次击败了同类别的GIRCSE模型，证明了“双重对齐蒸馏”比单纯的对比学习能捕获更丰富的语义 。\n效率对比：兼顾性能与开销\n推理延迟极低：在相同硬件下，LaSER处理请求的延迟仅为“重写后检索”流水线方法的 0.3% 。\n开销可控：虽然相比标准的基础检索器增加了约1.7倍的延迟（因为需要自回归生成 $K$ 个潜在标记），但随着模型参数量变大，这部分向量操作成本的占比会越来越小 。总体而言，在效率上具有极高的工程部署价值。\n消融实验：验证核心设计\n移除潜在视图 (- Latent View)：导致性能下降最严重（BRIGHT上从23.10跌至19.93）。这证明标准的“单向量输出”结构是推理能力的瓶颈，潜在思考标记极大扩展了语义容量 。\n移除显式视图 (- Explicit View)：同样导致大幅下降，说明没有了显式CoT的监督，模型自己瞎捉摸（隐式推理）很容易迷失方向 。\n缺少输出蒸馏 (- Output Distill) / 过程对齐 (- Process Align)：这两项去掉任何一个，都会显著损害推理能力。特别是输出蒸馏的移除导致断崖式下跌，证实了从教师模型传递细粒度排序偏好的必要性 。\n","permalink":"https://howardatri.github.io/posts/laser/","summary":"\u003ch1 id=\"laser-internalizing-explicit-reasoning-into-latent-space-for-dense-retrieval\"\u003eLaSER: Internalizing Explicit Reasoning into Latent Space for Dense Retrieval\u003c/h1\u003e\n\u003cp\u003e作者： 金嘉杰,张延昭,李明鑫,龙定坤, 谢朋峻,朱玉韬,窦志成\n中国人民大学高瓴人工智能学院,阿里巴巴通义实验室\u003c/p\u003e\n\u003ch2 id=\"一核心问题与创新\"\u003e一、核心问题与创新\u003c/h2\u003e\n\u003cp\u003e当前基于LLM（大语言模型）的密集检索（Dense Retrieval）发展面临着一个核心矛盾：生成式模型的推理潜力被浪费，且缺乏高效的复杂推理解决方案 。\u003c/p\u003e\n\u003cp\u003e具体来说，这个问题体现在两个层面：\u003c/p\u003e\n\u003col\u003e\n\u003cli\u003e\n\u003cp\u003e\u003cstrong\u003e显式推理效率低下 (High Latency in Explicit Reasoning)\u003c/strong\u003e：\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e\n\u003cp\u003e面对复杂的查询（如多跳逻辑、隐式意图），现有主流方案是“重写后检索 (rewrite-then-retrieve)”的流水线，即利用外部LLM生成显式的思维链 (CoT) 基本原理后再进行检索 。\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e虽然性能好，但依赖冗长的自回归文本生成，导致了令人望而却步的推理延迟瓶颈 。\u003c/p\u003e\n\u003c/li\u003e\n\u003c/ul\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e\u003cstrong\u003e隐式推理缺乏监督 (Semantic Degeneration in Implicit Reasoning)\u003c/strong\u003e：\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e\n\u003cp\u003e近期有一些隐式推理方法让模型在嵌入空间生成“潜在思考标记 (latent thinking tokens)”以规避延迟 。\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e但由于缺乏显式的语义监督，仅靠最终的对比学习损失，这些潜在标记往往会发生语义退化，无法准确捕获检索所需的关键信息 。\u003c/p\u003e\n\u003c/li\u003e\n\u003c/ul\u003e\n\u003c/li\u003e\n\u003c/ol\u003e\n\u003cp\u003e因此，本文的核心命题是：如何将LLM强大的显式推理能力“内化 (internalize)”到密集检索器的潜在空间中，既保留推理深度，又兼顾检索效率？\u003c/p\u003e\n\u003cp\u003e针对以上问题，本文的创新性解决方案是提出了 \u003cstrong\u003eLaSER (Latent Space Explicit Reasoning)\u003c/strong\u003e 框架 。 这篇文章的核心贡献在于：\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e\n\u003cp\u003e\u003cstrong\u003e提出双视图自蒸馏框架\u003c/strong\u003e：在统一的共享骨干网络中，将显式的CoT推理作为特权监督（教师），指导轻量级的潜在思考（学生）。\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e\u003cstrong\u003e设计多粒度对齐机制 (Multi-grained alignment)\u003c/strong\u003e：不仅对齐最终的输出表示，还首创了“轨迹对齐 (trajectory alignment)”机制，强制中间的潜在状态与显式推理片段的语义演进同步，有效防止了隐式推理的退化 。\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e\u003cstrong\u003e实现性能与效率的完美折中\u003c/strong\u003e：成功结合了显式CoT流水线的推理深度与标准密集检索器的推理效率，在仅增加极少计算开销的情况下大幅提升了复杂检索性能 。\u003c/p\u003e\n\u003c/li\u003e\n\u003c/ul\u003e\n\u003chr\u003e\n\u003ch2 id=\"二核心架构\"\u003e二、核心架构\u003c/h2\u003e\n\u003cp\u003eLaSER的核心是一个基于统一生成式LLM骨干的双视图 (Dual-View) 训练范式 。整个架构的设计思想在于“训练时双轨制，推理时单轨制” 。\u003c/p\u003e\n\u003col\u003e\n\u003cli\u003e\n\u003cp\u003e\u003cstrong\u003e显式视图 (Explicit-View) —— 充当“语义教师”\u003c/strong\u003e\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e\n\u003cp\u003e\u003cstrong\u003e功能\u003c/strong\u003e：在训练阶段提供语义上限和特权知识 。\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e\u003cstrong\u003e处理过程\u003c/strong\u003e：将原始查询、外部高级推理器（如GPT-4o-mini）生成的高质量显式CoT文本以及[EOS]标记拼接在一起作为输入 。\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e\u003cstrong\u003e输出\u003c/strong\u003e：通过单次前向传播，提取最后一个标记的隐藏状态作为包含显式推理逻辑的最终表示 $v_q^*$ 。\u003c/p\u003e","title":"LaSER"},{"content":"论文笔记:《Rethinking Reasoning in Document Ranking: Why Chain-of-Thought Falls Short》 arxiv25\n作者: Xuan Lu, Haohang Huang, Rui Meng, Yaohui Jin, Wenjun Zeng, Xiaoyu Shen 机构: Shanghai Jiao Tong University, Eastern Institute of Technology, Ningbo\n1. 研究背景 1.1 问题定义 文档重排序 (Document Reranking) 是 IR 系统的关键组件，用于精炼检索结果，提升排序质量 。\n受大型推理模型 (LRMs, 如 DeepSeek-R1, o1) 的启发，近期研究开始将显式的“思维链”(CoT) 推理引入 LLM Reranker 。 via supervised fine-tuning Weller et al. (2025); Ji et al. (2025); Yang et al. (2025) or using reinforcement learning Zhang et al. (2025); Zhuang et al. (2025); Liu et al. (2025).\n核心问题： 尽管大家_假设_ CoT 对排序有益，但这种有效性尚未被系统性地探索 。CoT 是否真的能提升 Reranker 性能？ 之前((Rank1,rank-k,ReasonRank))没有与非推理基线模型的公平比较; 新证据( Don\u0026rsquo;t \u0026ldquo;Overthink\u0026rdquo; Passage Reranking: Is Reasoning Truly Necessary?-认为llm限制逐点的文章相关性 可能引入噪声 ) ==但这些分析范围有限== ，仅关注使用监督目标训练的逐点reranker,并不系统\n1.2 研究目标 本文旨在对 Reranker 中的“推理”进行首次系统性研究 。\n目标： 公平地对比“推理” (CoT) 模型与“直接” (Direct-output) 模型在不同范式 (Pointwise, Listwise) 和不同训练策略 (SFT, RL) 下的性能。\n解答关键问题：显式推理对 Reranker 来说是必要的吗？还是仅仅增加了不必要的推理成本？\n约定 所有重排序器均在 MS MARCO 数据集上进行训练，并使用 DeepSeek-R1 生成的 CoT 链增强推理能力。 在两个互补的基准数据集上评估了模型：BRIGHT（侧重于推理密集型查询）和 BEIR（一套标准的检索数据集）\n背景知识\n2. 研究设计 (Study Design) 2.1 核心对比范式 (Paradigms) Pointwise Reranker (逐点式): 独立评估每个 (Query, Document) 对 。模型输出一个相关性分数 (e.g., \u0026ldquo;True\u0026rdquo; / \u0026ldquo;False\u0026rdquo; 的 logits) 。\nListwise Reranker (列表式): 联合考虑整个候选文档集 。模型直接自回归地生成一个排序后的文档 ID 列表 (e.g., [3] \u0026gt; [5] \u0026gt; [1]) 。\n![[Pasted image 20251114183701.png]]\n2.2 核心对比模型 (Model Variants) Direct-Point (非推理, 逐点): 直接输出 \u0026ldquo;True\u0026rdquo; / \u0026ldquo;False\u0026rdquo; 决策 。\nReason-Point (推理, 逐点): 先生成 CoT 理由，_然后_再输出 \u0026ldquo;True\u0026rdquo; / \u0026ldquo;False\u0026rdquo; 决策 。\nDirect-List (非推理, 列表): 直接输出排序列表 (e.g., \u0026lt;answer\u0026gt;[3] \u0026gt; [1]\u0026lt;/answer\u0026gt;) 。\nReason-List (推理, 列表): 先在 \u0026lt;think\u0026gt; 标签中生成 CoT，_然后_再在 \u0026lt;answer\u0026gt; 标签中输出排序列表 。\n2.3 模型训练 (Training Details) 基座模型 (Backbone): Qwen3-4B 和 Qwen3-8B 。\n训练数据 (Data): 基于 MS MARCO。Pointwise 使用 RANK1 语料库 ；Listwise 使用 REASONRANK 语料库 。CoT 理由(查询-段落对)由 DeepSeek-R1 生成 。\n训练策略 (Regimes):\nSFT (监督微调,使用LLaMA-Factory3): 使用交叉熵损失进行训练 。 For Reason-Point, we perform supervised fine-tuning on quadruples ⟨query, passage, rationale, answer⟩. For Direct-Point, we ablate the rationale and fine-tuning on⟨query, passage, answer⟩, training the model to emit a single token in {TRUE, FALSE}\nSFT + GRPO (强化学习): 在 SFT 后，使用 GRPO (一种 RL 算法) 结合一个复合排序奖励 (NDCG@10, Recall@10, RBO) 进一步优化 。\n3. 实验设计与结果 3.1 实验设置 评测基准 (Benchmarks):\nBRIGHT: 一个需要强推理能力的 IR 数据集 。\nBEIR: 一个标准的、异构的 IR 评测集 。\n对比模型 (Baselines): Rank1-7B/14B , TFRank-4B/8B , Rank-R1-7B/14B , ReasonRank-7B 等。\n核心指标 (Metric): 主要指标是 NDCG@10\n这是针对listwise范式的，第一阶段执行监督微调（SFT），以训练模型输出排序序列，第二阶段使用广义重加权策略优化（GRPO）（Guo等人，2025）对SFT模型进行优化 $$$R_{m} = \\text{NDCG}@10(y^{\\text{list}}, y\u0026rsquo;) + \\phi \\cdot \\text{Recall}@10(y^{\\text{list}}, y\u0026rsquo;) + \\gamma \\cdot \\text{RBO}(y^{\\text{list}}, y\u0026rsquo;)$$ 最后指标: Rm y^list 模型预测排名序列，y^\u0026rsquo; 标准排名(gold)， NDCG@10衡量排名前十文档相关性和排序位置质量，Recall@10衡量前十中包含多少相关文档， RBO强调顶部排名重叠度， $$$\\text{RBO}(y^{\\text{list}}, y\u0026rsquo;) = (1-p) \\sum_{d=1}^{|y^{\\text{list}}|} p^{d-1} \\frac{|y^{\\text{list}}{1:d} \\cap y\u0026rsquo;{1:d}|}{d}$$ 权重参数ϕ和γ分别对覆盖率和重叠度进行加权 1 遵循 REASONRANK，使用简单的格式验证器对Rm 进行门控以稳定学习： $$$R = \\begin{cases} R_{m}, \u0026amp; \\text{both output and answer formats are valid}, \\ 0, \u0026amp; \\text{only the output format is valid}, \\ -1, \u0026amp; \\text{otherwise}, \\end{cases}$$ GRPO目标函数优化更新策略 $$$\\mathcal{J}{\\text{GRPO}}(\\theta) = -\\sum{i, t} \\min(r_{i, t}(\\theta) \\hat{A}{i, t}, \\text{clip}(r{i, t}(\\theta), 1-\\epsilon, 1+\\epsilon) \\hat{A}{i, t}) - \\beta D{\\text{KL}}(\\pi_{\\theta} | \\pi_{\\text{ref}})$$ 第一项（裁剪损失）： 目标是最大化加权优势 $\\hat{A}{i, t}$。通过 $\\min$ 函数和 $\\text{clip}$ 函数，它限制了模型参数更新的幅度 第二项（正则化）： KL 散度项作为正则化项，惩罚当前策略 $\\pi{\\theta}$ 离原始 SFT（Supervised Fine-Tuning）参考策略 $\\pi_{\\text{ref}}$ 太远\n3.2 实验结果 (见 Table 1 \u0026amp; 2) 核心结论：推理在重排序中是不必要的 (Reasoning Is Unnecessary) 。\n在所有模型大小 (4B/8B)、训练策略 (SFT/GRPO) 和评测基准 (BRIGHT/BEIR) 上，Direct (无 CoT) 模型 的性能一致且显著地优于 Reason (有 CoT) 模型 。\n举例 (BRIGHT, 8B): Direct-Point (26.8) 远超 Reason-Point (20.7) 。\n举例 (BEIR, 4B): Direct-Point (45.4) 远超 Reason-Point (40.1) 。\n本文提出的 Direct 模型性能也优于所有现有的（基于 CoT 的）SOTA 基线 。 3.3 消融实验 (Failure Mode Analysis) 为什么 CoT 会失败？\nPointwise 失败原因：破坏校准度 (Breaks Calibration) 。 推理虽然可以提高相关性预测的准确性，但会破坏分数校准，并导致误报率上升，最终降低排序性能\n过度自信: CoT 模型的预测概率与真实准确率严重脱节（见 Figure 2），ECE (预期校准误差 ECE 是所有区间内“平均置信度”与“实际准确率”之间差异的加权平均值) 更高 (0.151 vs 0.105，越低越好)，表明模型过度自信 。\n正类偏见: (见 Table 3) CoT 模型更倾向于预测“True (相关)” 。这导致 TPR (真正率) 上升，但 TNR (真负率) 暴跌 。在负样本为主的 Reranker 任务中，这会导致大量**“假正例”(False Positives)** 被排到前面，严重损害 NDCG 。 评估池:100pos 200neg Listwise 失败原因：损害泛化性 (Hurts Generalization) 。 推理虽然可以增强领域内训练的拟合度，但也会增加预测方差，并损害领域外泛化能力，即使通过 GRPO 缩短推理过程也是如此。\n过拟合: (见 Figure 3) 在训练集上，CoT 模型的 NDCG@10 反而更高 (e.g., 87.55 vs 86.93) 。但离散度更大 泛化失败: 这种在训练集上的优势无法泛化到（OOD的）BRIGHT/BEIR 甚至（In-Domain的）MS MARCO 测试集 。 Taable4上面\nRL 的影响: GRPO (RL) 确实能缓解“过度思考”(Overthinking)，将 CoT 长度从 397 压缩到 172 ，但 CoT 模型的泛化性依然不如 Direct 模型 (偷懒)。Taable4上面\n4. 贡献与启示 4.0 相关工作(LLm 和 LRM的进展，有需要可以浏览) 4.1 主要贡献 首次系统性研究: 第一次对 CoT 在 Reranker 中的作用进行了大规模、受控的公平对比 。\n清晰的负面证据: 提供了明确证据，表明 CoT（显式推理）有害 Reranker 性能，且成本高昂 。\n深入的失败分析: 揭示了 CoT 失败的两种不同机制：Pointwise (破坏校准度) 和 Listwise (损害泛化性) 。\n4.2 启示 (Implications) 回归 Direct: Reranker 任务应优先考虑高效、鲁棒的 Direct 打分/排序模型，而不是复杂的推理模型 。\nCoT 不万能: 显式推理在很多 NLP 任务中有用，但不能想当然地认为它对所有任务都有益 。\n5. 未来工作方向 Pointwise: 研究“校准度感知”(Calibration-Aware) 的打分目标，以修复 CoT 模型的过度自信问题 。==Evaluation==\nListwise: 探索“简洁、有针对性”(Concise, Targeted) 的推理策略，而不是依赖又长又导致过拟合的 CoT，以平衡可解释性与泛化性 。 ==设计推理策略==\n6. 结论 本文系统地评估了 CoT 在 Pointwise 和 Listwise 重排序中的作用 。研究发现，与“直接输出”的模型相比，CoT 模型性能更差、成本更高 。\n失败的根本原因在于：(i) 在 Pointwise 中，CoT 破坏了模型的校准度并引入了正类偏见 ；(ii) 在 Listwise 中，CoT 导致过拟合，损害了泛化能力 。\n结论是：Direct (非推理) 模型更稳定、更有效 。\n关键词: 文档重排序 (Document Reranking), 思维链 (CoT), Pointwise, Listwise, 校准度 (Calibration), 泛化性 (Generalization), 强化学习 (GRPO)\ncoT会造成过拟合的原因是因为什么 过度依赖训练数据中的推理模式和风格\n模仿而非真正的推理： CoT通过让模型生成一系列中间步骤来解决问题，但模型学习到的可能不是深层的逻辑原理，而是模仿训练样本中特定的推理风格或模式。 缺乏泛化性： 如果训练数据中的CoT示例具有特定的格式、措辞或解题路径，模型可能会过度适应这些特定的“思维链”，导致在遇到具有不同风格、稍微改变格式或需要不同解题策略的新问题时，表现下降（即泛化能力差）。 CoT导致过拟合的核心原因在于，模型可能学会了表面的、特定于训练数据的 “解题套路” ，而不是获得可泛化到未知情境的深层逻辑推理能力。这就像一个学生只记住了某些题目的具体解法步骤，换个问法就不会做了一样。\ndiscussion 任务不匹配——Reranker 究竟是“判别”任务还是“生成”任务？ - CoT 擅长的是**“生成式” (Generative) 任务**，其“思考过程”本身就是答案的一部分，或者对推导出答案至关重要 。\n而 Reranker 本质上是一个**“判别式” (Discriminative) 任务**。它的目标不是“生成”一个理由，而是“判断”一个（Query, Doc）对的相关性（Pointwise），或是“对比” N 个文档的优劣（Listwise） 评估的悖论——我们是否用错了“尺子”？==evaluation== 我们看的综述（2308\u0026hellip;）在 8.6 节明确提出了一个未来方向，即传统的 nDCG 指标已经不够用了 。在 RAG 时代，我们需要的是**“面向生成的排序评估” (Generation-oriented ranking evaluation)** 。\nNDCG@10 只关心文档的**“主题相关性”** 。\n而“面向生成的评估”关心的是文档是否**“适合生成答案”**（比如，事实清晰、论证严谨）。\n“思考”的矛盾——“过度思考” vs “测试时扩展”\n真正的未来——“简洁推理” (连接论文的 Future Work) - Pointwise 的未来：它提议“校准度感知的打分” (calibration-aware scoring) 。\nListwise 的未来：它提议“设计简洁且有针对性的推理策略” (design of concise, targeted reasoning strategies) ","permalink":"https://howardatri.github.io/posts/why-cot-falls-short/","summary":"\u003cp\u003e\u003cstrong\u003e论文笔记:《Rethinking Reasoning in Document Ranking: Why Chain-of-Thought Falls Short》\u003c/strong\u003e  arxiv25\u003c/p\u003e\n\u003cp\u003e\u003cstrong\u003e作者:\u003c/strong\u003e Xuan Lu, Haohang Huang, Rui Meng, Yaohui Jin, Wenjun Zeng, Xiaoyu Shen\n\u003cstrong\u003e机构:\u003c/strong\u003e Shanghai Jiao Tong University, Eastern Institute of Technology, Ningbo\u003c/p\u003e\n\u003ch3 id=\"1-研究背景\"\u003e1. 研究背景\u003c/h3\u003e\n\u003ch4 id=\"11-问题定义\"\u003e1.1 问题定义\u003c/h4\u003e\n\u003cul\u003e\n\u003cli\u003e\n\u003cp\u003e文档重排序 (Document Reranking) 是 IR 系统的关键组件，用于精炼检索结果，提升排序质量 。\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e受大型推理模型 (LRMs, 如 DeepSeek-R1, o1) 的启发，近期研究开始将显式的“思维链”(CoT) 推理引入 LLM Reranker 。\nvia supervised fine-tuning Weller et al. (2025); Ji et al. (2025); Yang et al. (2025) or using reinforcement learning Zhang et al. (2025); Zhuang et al. (2025); Liu et al. (2025).\u003c/p\u003e","title":"why cot falls short"},{"content":"Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning 2025.8.5 作者:Bowen Jin , Hansi Zeng , Zhenrui Yue , Jinsung Yoon $^{3}$ , Sercan Ö. Arik $^{3}$ , Dong Wang , Hamed Zamani , ==Jiawei Han==\ndeepseek r1+搜索引擎\n目录 一、核心问题与创新\n二、核心架构\nRL 训练框架: 将搜索引擎建模为环境的一部分，支持 PPO 和 GRPO。\n多轮交错交互: 支持“推理-搜索-再推理”的动态链条。\n检索 Token 掩码: 关键的稳定训练技术，仅优化模型生成的 Token。\n奖励机制: 证明了简单的结果导向奖励足以涌现复杂的搜索行为。\n三、实验\n1、实验目标\n2、基准与指标\n3、核心结果与对比分析\n一、核心问题与创新 当前 LLM 在处理需要外部知识的复杂任务时面临的核心瓶颈：不仅需要推理能力，还需要高效获取最新信息的能力，而现有的结合方式并不完美。\n具体体现在两个层面：\nRAG 的局限性：传统的 RAG（检索增强生成）通常是“先检索后生成”的静态流程。LLM 并没有经过训练去学习“如何与搜索引擎交互”，仅仅是被动接收检索结果，这在处理复杂多跳问题时往往效果不佳 4。\n工具学习的依赖性：现有的让 LLM 使用搜索工具的方法（如 Toolformer）主要依赖大量高质量的 SFT（监督微调）数据。这种数据获取昂贵且难以扩展，且搜索操作本身的不可微性使得端到端优化变得困难 5。 (RAG方法难以进行动态多轮检索)\n本文的核心命题是： 如何利用强化学习（RL），在仅依赖最终结果奖励的情况下，让 LLM 自主学会“边思考、边搜索、边推理”的复杂行为？\n核心创新点：\nSearch-R1 框架：提出了一种新的 RL 框架，允许 LLM 在推理过程中自主生成搜索查询，并将搜索结果作为环境反馈整合到上下文中，形成多轮交互 6。\n检索 Token 掩码 (Retrieved Token Masking)：为了解决 RL 训练的不稳定性，提出在计算策略梯度时，对检索回来的文本内容进行 Loss Masking。即只优化模型生成的思考和查询 Token，而不优化外部检索回来的文本 7。\n结果导向的极简奖励：证明了不需要复杂的步骤奖励（Process Reward），仅凭最终答案的正确性（Outcome Reward），就能驱动模型涌现出自我修正、多跳搜索等高级能力 8。\n核心思路 核心思想：将搜索引擎建模为强化学习环境的一部分，使 LLM 能通过试错自主学习：\n搜索即环境交互：将搜索 API 调用转化为马尔可夫决策过程的状态转移 结构化文本生成：通过特殊标记实现程序化控制 轻量化奖励设计：仅用最终答案正确性作为奖励信号，避免复杂过程监督 二、核心架构 Search-R1 的核心是一个基于 RL 的闭环系统，主要包含以下关键模块：\n1. RL 训练框架 (RL with Search Engine)\n定义：将搜索引擎 $\\mathcal{R}$ 视为环境的一部分。优化的目标函数不仅包含模型自身的生成，还包含了与搜索引擎交互产生的轨迹 9。\n兼容性：该框架同时兼容 PPO (Proximal Policy Optimization) 和 GRPO (Group Relative Policy Optimization) 两种主流 RL 算法 10。\nPPO：基于 Actor-Critic，训练更稳定，但收敛较慢 11。 演员/策略网络(负责根据状态采取动作)-评论家/价值网络(负责打分)\nGRPO：不需要 Critic 模型，通过组内相对优势来更新，收敛速度快，但在长步数训练后可能不稳定 。\n2. 多轮交错交互 (Interleaved Reasoning and Search)\n流程：模型生成的轨迹是“思考”与“搜索”交织的。(允许无缝插入搜索操作)\n特殊 Token 设计：\n\u0026lt;think\u0026gt;...\u0026lt;/think\u0026gt;：包裹模型的推理过程。\n\u0026lt;search\u0026gt;...\u0026lt;/search\u0026gt;：触发搜索引擎的查询。\n\u0026lt;information\u0026gt;...\u0026lt;/information\u0026gt;：包裹搜索引擎返回的外部知识。\n\u0026lt;answer\u0026gt;...\u0026lt;/answer\u0026gt;：最终答案。\n机制：系统检测到 \u0026lt;search\u0026gt; 标签后，自动调用搜索引擎，将结果插入到 \u0026lt;information\u0026gt; 中，模型基于更新后的上下文继续生成，直到输出最终答案或达到最大步数 13。\n3. 检索 Token 掩码 (Retrieved Token Masking)\n问题：Rollout 序列中包含了模型生成的 Token 和检索回来的 Token。如果对检索回来的 Token 也计算梯度及 KL 散度，会导致优化目标偏移（因为这些内容不受模型参数控制）。\n解决方案：引入掩码机制 $I(y_t)$。\n如果 $y_t$ 是模型生成的（如思考、查询），$I(y_t)=1$。\n如果 $y_t$ 是检索回来的文本，$I(y_t)=0$。\n作用：确保策略梯度只在模型可控的部分生效，极大地稳定了训练过程 14。\n4. 奖励建模 (Reward Modeling)\n策略：放弃复杂的格式奖励或过程奖励，仅使用最终结果奖励。\n计算：$r_{\\phi}(x,y) = EM(a_{pred}, a_{gold})$。即检查生成的最终答案与标准答案是否完全匹配（Exact Match）15。\n发现：虽然没有显式的格式奖励，模型在 RL 过程中自动学会了保持结构化的输出格式 16。\n三、实验 1、实验目标\n验证 SEARCH-R1 在需要外部知识和复杂推理的任务中，是否能超越传统的 RAG 基线及其他 RL 微调方法。\n2、基准与指标\nA、数据集\n涵盖 7 个问答数据集，分为两类 17：\n通用问答：NQ, TriviaQA, PopQA。\n多跳问答 (Multi-Hop)：HotpotQA, 2WikiMultiHopQA, Musique, Bamboogle。\nwhy not hit-rate mrr?命中率及平均倒数排名\nB、基准方法\n对比了三大类方法 18：\n无检索推理：Direct Inference, CoT。\n检索增强推理：Standard RAG, IRCoT (Iterative Retrieval CoT), Search-o1。\n微调方法：SFT (Supervised Fine-Tuning), R1 (纯 RL 无搜索), Rejection Sampling (拒绝采样)。\n模型基座：Qwen2.5-7B 和 Qwen2.5-3B 19。\n3、核心结果与对比分析\n1. 性能对比：显著超越\n主要结果：SEARCH-R1 在所有数据集上均优于强基线。\nQwen2.5-7B 版本比 RAG 平均提升 24% 20。\nQwen2.5-3B 版本比 RAG 平均提升 20% 21。\n多跳能力：在 MuSiQue 等复杂多跳数据集上，Search-R1 表现出巨大的优势（例如 Qwen2.5-7B 在 MuSiQue 上得分 0.196，而 RAG 仅为 0.058），证明了其自主多步搜索的有效性 22。\n模型能够通过连接多个离散的信息点或经过多个逻辑步骤来回答复杂问题的能力 2. 训练动态分析\nPPO vs GRPO：GRPO 收敛更快，但 PPO 训练更稳定。最终两者的效果相当，建议优先使用更稳定的 PPO 23。\nBase vs Instruct：Instruct 模型收敛更快，但 Base 模型通过 RL 训练后，最终能达到与 Instruct 模型相似的性能水平。这表明 RL 能有效填补预训练模型在指令遵循上的差距 24。\n3. 行为分析：涌现出的智能\n搜索频率：随着训练步数的增加，模型主动调用搜索的次数显著增加，说明模型“学会”了搜索是有用的 25。\n自我修正：案例研究显示，Search-R1 能够在第一轮搜索信息不足时，自主发起第二轮搜索进行补充验证（Self-Verification），这是纯 SFT 难以做到的 26。\n4. 消融实验\nMasking 的重要性：去除了 Retrieved Token Masking 后，模型性能在所有数据集上均有显著下降（平均从 0.431 降至 0.343），证明了该技术对稳定训练至关重要 27。 rewarding syntax?仅看结果，不看过程\nsearch-r1生成高质量数据-微调一个Bi-encoder让 Retriever 在看到 Query 时，就能隐式地“感知”到 Search-R1 经过漫长推理后才找到的那个文档\n兼容性：框架设计支持任意 API 调用（如计算器、数据库） 挑战：需要为不同工具设计专用掩码策略，例如数据库查询结果可能包含结构化数据 为什么要用强化学习 + 搜索而不是监督学习 + 搜索？ 技术细节：\n多轮搜索的决策树复杂度呈指数增长（3 轮搜索可能有 $10^6$ 种路径），监督学习难以覆盖所有情况 强化学习的试错机制能自主发现最优搜索策略，如论文表 5 案例中模型自动进行验证性检索 检索 Token 掩码（retrieved Token masking）的作用是什么？为什么它可以提高训练的稳定性？ 在强化学习中，模型的目标是通过调整策略来最大化奖励。如果没有检索 token 掩码，模型可能会尝试直接修改检索到的文本，以获得更高的奖励。这会导致以下问题：\n信息污染：模型可能会改变检索到的信息，使其与事实不符，从而损害模型的知识来源。 训练不稳定：模型可能会过度关注检索到的文本，而忽略了自身推理能力的提升。 检索 token 掩码通过阻止模型修改检索到的 token，强制模型专注于如何更好地利用这些信息。这可以避免信息污染，并促使模型学习更有效的推理和搜索策略，从而提高训练的稳定性。\nSEARCH-R1 如何解决多轮交互的问题？ SEARCH-R1 的核心创新在于它允许 LLM 在推理过程中自主决定何时以及如何进行搜索。通过引入 \u0026lt;search\u0026gt; 和 \u0026lt;/search\u0026gt; 等特殊 token，LLM 可以在生成文本的过程中，显式地发出搜索请求。系统会根据这些 token 提取查询语句，调用搜索引擎，并将检索结果以 \u0026lt;information\u0026gt; 和 \u0026lt;/information\u0026gt; 的形式插入回 LLM 的上下文。\n这样，LLM 就可以根据实时检索到的信息，动态调整其推理路径和搜索策略，实现真正意义上的多轮交互。### 为什么文章选择使用基于结果的奖励函数，而不是基于过程的奖励函数？\n基于过程的奖励函数需要对模型的中间推理步骤进行评估，这通常需要人工标注或复杂的规则。这不仅增加了成本和复杂性，而且也容易引入人为偏见。\n基于结果的奖励函数只关注最终答案的正确性，避免了对中间步骤的评估，更加简单和通用。文章的实验结果表明，即使只使用简单的基于结果的奖励函数，SEARCH-R1 也能有效地学习到复杂的推理和搜索策略。\n","permalink":"https://howardatri.github.io/posts/search-r1/","summary":"\u003cp\u003e\u003cstrong\u003eSearch-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning\u003c/strong\u003e\n2025.8.5\n作者:Bowen Jin  , Hansi Zeng  , Zhenrui Yue  , Jinsung Yoon $^{3}$ , Sercan Ö. Arik $^{3}$ , Dong Wang  , Hamed Zamani  , ==Jiawei Han==\u003c/p\u003e\n\u003cp\u003edeepseek r1+搜索引擎\u003c/p\u003e\n\u003ch4 id=\"目录\"\u003e目录\u003c/h4\u003e\n\u003cul\u003e\n\u003cli\u003e\n\u003cp\u003e\u003cstrong\u003e一、核心问题与创新\u003c/strong\u003e\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e\u003cstrong\u003e二、核心架构\u003c/strong\u003e\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e\n\u003cp\u003eRL 训练框架: 将搜索引擎建模为环境的一部分，支持 PPO 和 GRPO。\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e多轮交错交互: 支持“推理-搜索-再推理”的动态链条。\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e检索 Token 掩码: 关键的稳定训练技术，仅优化模型生成的 Token。\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e奖励机制: 证明了简单的结果导向奖励足以涌现复杂的搜索行为。\u003c/p\u003e\n\u003c/li\u003e\n\u003c/ul\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e\u003cstrong\u003e三、实验\u003c/strong\u003e\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e\n\u003cp\u003e1、实验目标\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e2、基准与指标\u003c/p\u003e\n\u003c/li\u003e\n\u003cli\u003e\n\u003cp\u003e3、核心结果与对比分析\u003c/p\u003e\n\u003c/li\u003e\n\u003c/ul\u003e\n\u003c/li\u003e\n\u003c/ul\u003e\n\u003chr\u003e\n\u003ch4 id=\"一核心问题与创新\"\u003e一、核心问题与创新\u003c/h4\u003e\n\u003cp\u003e当前 LLM 在处理需要外部知识的复杂任务时面临的核心瓶颈：\u003cstrong\u003e不仅需要推理能力，还需要高效获取最新信息的能力，而现有的结合方式并不完美。\u003c/strong\u003e\u003c/p\u003e\n\u003cp\u003e具体体现在两个层面：\u003c/p\u003e\n\u003col\u003e\n\u003cli\u003e\n\u003cp\u003e\u003cstrong\u003eRAG 的局限性\u003c/strong\u003e：传统的 RAG（检索增强生成）通常是“先检索后生成”的静态流程。LLM 并没有经过训练去学习“如何与搜索引擎交互”，仅仅是被动接收检索结果，这在处理复杂多跳问题时往往效果不佳 4。\u003c/p\u003e","title":"search-r1"},{"content":"这是我的第一篇博客文章！🎉\n为什么建立这个网站？ 我一直想要一个属于自己的地方，记录技术学习和生活感悟。GitHub Pages 提供了一个免费且简单的方案，让我可以用 Markdown 轻松地写博客。\n这个网站有什么？ 博客：记录技术学习、项目经验和生活感悟 工具：一些实用的在线小工具，比如计时器、秒表等 技术栈 本站使用以下技术构建：\nHugo - 静态网站生成器 PaperMod - 简洁优雅的主题 GitHub Pages - 免费托管 下一步计划 添加更多博客文章 优化工具页面的样式 添加搜索功能 考虑添加评论系统 感谢你的访问！如果你有任何问题或建议，欢迎通过邮箱联系我。\n","permalink":"https://howardatri.github.io/posts/hello-world/","summary":"\u003cp\u003e这是我的第一篇博客文章！🎉\u003c/p\u003e\n\u003ch2 id=\"为什么建立这个网站\"\u003e为什么建立这个网站？\u003c/h2\u003e\n\u003cp\u003e我一直想要一个属于自己的地方，记录技术学习和生活感悟。GitHub Pages 提供了一个免费且简单的方案，让我可以用 Markdown 轻松地写博客。\u003c/p\u003e\n\u003ch2 id=\"这个网站有什么\"\u003e这个网站有什么？\u003c/h2\u003e\n\u003cul\u003e\n\u003cli\u003e\u003cstrong\u003e博客\u003c/strong\u003e：记录技术学习、项目经验和生活感悟\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003e工具\u003c/strong\u003e：一些实用的在线小工具，比如计时器、秒表等\u003c/li\u003e\n\u003c/ul\u003e\n\u003ch2 id=\"技术栈\"\u003e技术栈\u003c/h2\u003e\n\u003cp\u003e本站使用以下技术构建：\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e\u003ca href=\"https://gohugo.io/\"\u003eHugo\u003c/a\u003e - 静态网站生成器\u003c/li\u003e\n\u003cli\u003e\u003ca href=\"https://github.com/adityatelange/hugo-PaperMod\"\u003ePaperMod\u003c/a\u003e - 简洁优雅的主题\u003c/li\u003e\n\u003cli\u003e\u003ca href=\"https://pages.github.com/\"\u003eGitHub Pages\u003c/a\u003e - 免费托管\u003c/li\u003e\n\u003c/ul\u003e\n\u003ch2 id=\"下一步计划\"\u003e下一步计划\u003c/h2\u003e\n\u003cul\u003e\n\u003cli\u003e\u003cinput disabled=\"\" type=\"checkbox\"\u003e 添加更多博客文章\u003c/li\u003e\n\u003cli\u003e\u003cinput disabled=\"\" type=\"checkbox\"\u003e 优化工具页面的样式\u003c/li\u003e\n\u003cli\u003e\u003cinput disabled=\"\" type=\"checkbox\"\u003e 添加搜索功能\u003c/li\u003e\n\u003cli\u003e\u003cinput disabled=\"\" type=\"checkbox\"\u003e 考虑添加评论系统\u003c/li\u003e\n\u003c/ul\u003e\n\u003chr\u003e\n\u003cp\u003e\u003cem\u003e感谢你的访问！如果你有任何问题或建议，欢迎通过邮箱联系我。\u003c/em\u003e\u003c/p\u003e","title":"Hello World"},{"content":"关于我 你好！我是 Howard Atri，欢迎来到我的个人网站。\n联系方式 GitHub: howardatri 邮箱: Howard22022@outlook.com 关于本站 这是一个基于 GitHub Pages 的个人网站，包含：\n博客：记录技术学习和生活感悟 工具：实用的在线小工具集合 本站使用 Hugo 构建，采用 PaperMod 主题。\n","permalink":"https://howardatri.github.io/about/","summary":"\u003ch2 id=\"关于我\"\u003e关于我\u003c/h2\u003e\n\u003cp\u003e你好！我是 Howard Atri，欢迎来到我的个人网站。\u003c/p\u003e\n\u003ch2 id=\"联系方式\"\u003e联系方式\u003c/h2\u003e\n\u003cul\u003e\n\u003cli\u003e\u003cstrong\u003eGitHub\u003c/strong\u003e: \u003ca href=\"https://github.com/howardatri\"\u003ehowardatri\u003c/a\u003e\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003e邮箱\u003c/strong\u003e: \u003ca href=\"mailto:Howard22022@outlook.com\"\u003eHoward22022@outlook.com\u003c/a\u003e\u003c/li\u003e\n\u003c/ul\u003e\n\u003ch2 id=\"关于本站\"\u003e关于本站\u003c/h2\u003e\n\u003cp\u003e这是一个基于 GitHub Pages 的个人网站，包含：\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003e\u003cstrong\u003e博客\u003c/strong\u003e：记录技术学习和生活感悟\u003c/li\u003e\n\u003cli\u003e\u003cstrong\u003e工具\u003c/strong\u003e：实用的在线小工具集合\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003e本站使用 \u003ca href=\"https://gohugo.io/\"\u003eHugo\u003c/a\u003e 构建，采用 \u003ca href=\"https://github.com/adityatelange/hugo-PaperMod\"\u003ePaperMod\u003c/a\u003e 主题。\u003c/p\u003e","title":"关于"},{"content":"","permalink":"https://howardatri.github.io/friends/","summary":"友链","title":"友链"}]