LaSER: Internalizing Explicit Reasoning into Latent Space for Dense Retrieval
作者： 金嘉杰,张延昭,李明鑫,龙定坤, 谢朋峻,朱玉韬,窦志成 中国人民大学高瓴人工智能学院,阿里巴巴通义实验室
一、核心问题与创新
当前基于LLM（大语言模型）的密集检索（Dense Retrieval）发展面临着一个核心矛盾：生成式模型的推理潜力被浪费，且缺乏高效的复杂推理解决方案 。
具体来说，这个问题体现在两个层面：
显式推理效率低下 (High Latency in Explicit Reasoning)：
面对复杂的查询（如多跳逻辑、隐式意图），现有主流方案是“重写后检索 (rewrite-then-retrieve)”的流水线，即利用外部LLM生成显式的思维链 (CoT) 基本原理后再进行检索 。
虽然性能好，但依赖冗长的自回归文本生成，导致了令人望而却步的推理延迟瓶颈 。
隐式推理缺乏监督 (Semantic Degeneration in Implicit Reasoning)：
近期有一些隐式推理方法让模型在嵌入空间生成“潜在思考标记 (latent thinking tokens)”以规避延迟 。
但由于缺乏显式的语义监督，仅靠最终的对比学习损失，这些潜在标记往往会发生语义退化，无法准确捕获检索所需的关键信息 。
因此，本文的核心命题是：如何将LLM强大的显式推理能力“内化 (internalize)”到密集检索器的潜在空间中，既保留推理深度，又兼顾检索效率？
针对以上问题，本文的创新性解决方案是提出了 LaSER (Latent Space Explicit Reasoning) 框架 。 这篇文章的核心贡献在于：
提出双视图自蒸馏框架：在统一的共享骨干网络中，将显式的CoT推理作为特权监督（教师），指导轻量级的潜在思考（学生）。
设计多粒度对齐机制 (Multi-grained alignment)：不仅对齐最终的输出表示，还首创了“轨迹对齐 (trajectory alignment)”机制，强制中间的潜在状态与显式推理片段的语义演进同步，有效防止了隐式推理的退化 。
实现性能与效率的完美折中：成功结合了显式CoT流水线的推理深度与标准密集检索器的推理效率，在仅增加极少计算开销的情况下大幅提升了复杂检索性能 。
二、核心架构
LaSER的核心是一个基于统一生成式LLM骨干的双视图 (Dual-View) 训练范式 。整个架构的设计思想在于“训练时双轨制，推理时单轨制” 。
显式视图 (Explicit-View) —— 充当“语义教师”
功能：在训练阶段提供语义上限和特权知识 。
处理过程：将原始查询、外部高级推理器（如GPT-4o-mini）生成的高质量显式CoT文本以及[EOS]标记拼接在一起作为输入 。
输出：通过单次前向传播，提取最后一个标记的隐藏状态作为包含显式推理逻辑的最终表示 $v_q^*$ 。
潜在视图 (Latent-View) —— 充当“推理学生”
功能：负责在不生成可见文本的情况下进行内部“思考”，是模型在实际部署推理(Inference)时的唯一运行模式 。
连续软标记生成 (Soft Token Generation)：模型不采样离散的文本单词，而是在嵌入空间中自回归地生成 $K$ 个连续的“潜在思考标记 (latent thinking tokens)” 。这些标记可以关注到查询上下文和前序的思考步骤 。
输出：经过 $K$ 步后，对这些思考状态进行平均池化 (mean-pooling)，得到最终的查询向量 $v_q$ 。
多粒度自蒸馏优化 (Optimization via Self-Distillation) 为了让学生（潜在视图）学会教师（显式视图）的思考过程，模型设计了包含三个部分的联合训练目标：
对比学习 (Contrastive Training)：双视图都需要使用InfoNCE损失来学习基础的文档区分能力 。
输出级蒸馏 (Output-Level Distillation)：不直接强行对齐向量坐标，而是对齐两个视图给出的“文档相关性打分概率分布”，通过KL散度让潜在视图模仿显式视图的细粒度排序偏好 。
过程级轨迹对齐 (Process-Level Trajectory Alignment)：这是本篇论文最具特色的设计 。为了防止思考过程变成黑盒，作者引入了“时间下采样 (Temporal Downsampling)”策略，将 $K$ 步简短的潜在步骤映射对齐到 $M$ 步冗长的显式推理片段上 。通过KL散度对齐中间状态，强制潜在标记像“语义检查点”一样严格逼近显式推理逻辑 。
三、实验
1、实验目标
实验旨在解答三个核心问题：
LaSER相比基础对比学习和其他基线方法的性能如何？
多粒度自蒸馏策略（输出级+过程级）对模型有多大影响？
LaSER能否在检索性能和推理延迟之间取得比现有方法更好的平衡？
2、基准与指标
A、数据集
训练集：使用ReasonEmb构建的合成数据集（81k条数据），由GPT-4o-mini生成显式推理路径 。
测试集：选取了需要深度推理的基准，包括BRIGHT（域内）、FollowIR（域外）和BrowseComp-Plus（域外）。
评估指标：常规的nDCG、Recall，以及考察指令遵循能力的p-MRR和MAP 。
B、基准方法
标准密集检索器：BGE-M3, E5-Large-Instruct, Qwen3-Embedding等 。
流水线方法 (Rewrite-then-Retrieve)：外接7B模型重写Query后再检索 。
显式推理检索器：Search-R3, InBedder等自带文本生成环节的模型 。
隐式推理方法：GIRCSE（仅使用对比学习损失指导潜在标记的模型）。
3、核心结果与对比分析
性能对比：全面超越
碾压标准检索器：在BRIGHT数据集上，LaSER (Qwen3-8B) 取得了 29.3 的平均nDCG@10，远超未训练的原始模型 (14.0)，也大幅领先使用同等数据微调的公平基准 (25.7) 。这证明内化推理成功激活了LLM的潜力 。
触及显式流水线的天花板：在不用生成任何可见文本的前提下，LaSER的得分甚至略微超越了需要耗费庞大算力进行文本重写的“Rewrite-then-Retrieve”流水线方案（超越了0.7到1.2个点）。
优于现有隐式方案：在9个不同规模/数据集的实验设置中，LaSER有8次击败了同类别的GIRCSE模型，证明了“双重对齐蒸馏”比单纯的对比学习能捕获更丰富的语义 。
效率对比：兼顾性能与开销
推理延迟极低：在相同硬件下，LaSER处理请求的延迟仅为“重写后检索”流水线方法的 0.3% 。
开销可控：虽然相比标准的基础检索器增加了约1.7倍的延迟（因为需要自回归生成 $K$ 个潜在标记），但随着模型参数量变大，这部分向量操作成本的占比会越来越小 。总体而言，在效率上具有极高的工程部署价值。
消融实验：验证核心设计
移除潜在视图 (- Latent View)：导致性能下降最严重（BRIGHT上从23.10跌至19.93）。这证明标准的“单向量输出”结构是推理能力的瓶颈，潜在思考标记极大扩展了语义容量 。
移除显式视图 (- Explicit View)：同样导致大幅下降，说明没有了显式CoT的监督，模型自己瞎捉摸（隐式推理）很容易迷失方向 。
缺少输出蒸馏 (- Output Distill) / 过程对齐 (- Process Align)：这两项去掉任何一个，都会显著损害推理能力。特别是输出蒸馏的移除导致断崖式下跌，证实了从教师模型传递细粒度排序偏好的必要性 。