LaSER
LaSER: Internalizing Explicit Reasoning into Latent Space for Dense Retrieval 作者： 金嘉杰,张延昭,李明鑫,龙定坤, 谢朋峻,朱玉韬,窦志成 中国人民大学高瓴人工智能学院,阿里巴巴通义实验室 一、核心问题与创新 当前基于LLM（大语言模型）的密集检索（Dense Retrieval）发展面临着一个核心矛盾：生成式模型的推理潜力被浪费，且缺乏高效的复杂推理解决方案 。 具体来说，这个问题体现在两个层面： 显式推理效率低下 (High Latency in Explicit Reasoning)： 面对复杂的查询（如多跳逻辑、隐式意图），现有主流方案是“重写后检索 (rewrite-then-retrieve)”的流水线，即利用外部LLM生成显式的思维链 (CoT) 基本原理后再进行检索 。 虽然性能好，但依赖冗长的自回归文本生成，导致了令人望而却步的推理延迟瓶颈 。 隐式推理缺乏监督 (Semantic Degeneration in Implicit Reasoning)： 近期有一些隐式推理方法让模型在嵌入空间生成“潜在思考标记 (latent thinking tokens)”以规避延迟 。 但由于缺乏显式的语义监督，仅靠最终的对比学习损失，这些潜在标记往往会发生语义退化，无法准确捕获检索所需的关键信息 。 因此，本文的核心命题是：如何将LLM强大的显式推理能力“内化 (internalize)”到密集检索器的潜在空间中，既保留推理深度，又兼顾检索效率？ 针对以上问题，本文的创新性解决方案是提出了 LaSER (Latent Space Explicit Reasoning) 框架 。 这篇文章的核心贡献在于： 提出双视图自蒸馏框架：在统一的共享骨干网络中，将显式的CoT推理作为特权监督（教师），指导轻量级的潜在思考（学生）。 设计多粒度对齐机制 (Multi-grained alignment)：不仅对齐最终的输出表示，还首创了“轨迹对齐 (trajectory alignment)”机制，强制中间的潜在状态与显式推理片段的语义演进同步，有效防止了隐式推理的退化 。 实现性能与效率的完美折中：成功结合了显式CoT流水线的推理深度与标准密集检索器的推理效率，在仅增加极少计算开销的情况下大幅提升了复杂检索性能 。 二、核心架构 LaSER的核心是一个基于统一生成式LLM骨干的双视图 (Dual-View) 训练范式 。整个架构的设计思想在于“训练时双轨制，推理时单轨制” 。 显式视图 (Explicit-View) —— 充当“语义教师” 功能：在训练阶段提供语义上限和特权知识 。 处理过程：将原始查询、外部高级推理器（如GPT-4o-mini）生成的高质量显式CoT文本以及[EOS]标记拼接在一起作为输入 。 输出：通过单次前向传播，提取最后一个标记的隐藏状态作为包含显式推理逻辑的最终表示 $v_q^*$ 。 ...