LaSER

Sun, 09 Aug 2026 20:39:00 +0800

LaSER: Internalizing Explicit Reasoning into Latent Space for Dense Retrieval

作者：金嘉杰,张延昭,李明鑫,龙定坤, 谢朋峻,朱玉韬,窦志成中国人民大学高瓴人工智能学院,阿里巴巴通义实验室

一、核心问题与创新

当前基于LLM（大语言模型）的密集检索（Dense Retrieval）发展面临着一个核心矛盾：生成式模型的推理潜力被浪费，且缺乏高效的复杂推理解决方案。

具体来说，这个问题体现在两个层面：

显式推理效率低下 (High Latency in Explicit Reasoning)：
- 面对复杂的查询（如多跳逻辑、隐式意图），现有主流方案是“重写后检索 (rewrite-then-retrieve)”的流水线，即利用外部LLM生成显式的思维链 (CoT) 基本原理后再进行检索。
- 虽然性能好，但依赖冗长的自回归文本生成，导致了令人望而却步的推理延迟瓶颈。
隐式推理缺乏监督 (Semantic Degeneration in Implicit Reasoning)：
- 近期有一些隐式推理方法让模型在嵌入空间生成“潜在思考标记 (latent thinking tokens)”以规避延迟。
- 但由于缺乏显式的语义监督，仅靠最终的对比学习损失，这些潜在标记往往会发生语义退化，无法准确捕获检索所需的关键信息。

因此，本文的核心命题是：如何将LLM强大的显式推理能力“内化 (internalize)”到密集检索器的潜在空间中，既保留推理深度，又兼顾检索效率？

针对以上问题，本文的创新性解决方案是提出了 LaSER (Latent Space Explicit Reasoning) 框架。这篇文章的核心贡献在于：

提出双视图自蒸馏框架：在统一的共享骨干网络中，将显式的CoT推理作为特权监督（教师），指导轻量级的潜在思考（学生）。
设计多粒度对齐机制 (Multi-grained alignment)：不仅对齐最终的输出表示，还首创了“轨迹对齐 (trajectory alignment)”机制，强制中间的潜在状态与显式推理片段的语义演进同步，有效防止了隐式推理的退化。
实现性能与效率的完美折中：成功结合了显式CoT流水线的推理深度与标准密集检索器的推理效率，在仅增加极少计算开销的情况下大幅提升了复杂检索性能。

二、核心架构

LaSER的核心是一个基于统一生成式LLM骨干的双视图 (Dual-View) 训练范式。整个架构的设计思想在于“训练时双轨制，推理时单轨制” 。

显式视图 (Explicit-View) —— 充当“语义教师”
- 功能：在训练阶段提供语义上限和特权知识。
- 处理过程：将原始查询、外部高级推理器（如GPT-4o-mini）生成的高质量显式CoT文本以及[EOS]标记拼接在一起作为输入。
- 输出：通过单次前向传播，提取最后一个标记的隐藏状态作为包含显式推理逻辑的最终表示 $v_q^*$ 。

why cot falls short

Tue, 04 Aug 2026 13:15:29 +0800

论文笔记:《Rethinking Reasoning in Document Ranking: Why Chain-of-Thought Falls Short》 arxiv25

作者: Xuan Lu, Haohang Huang, Rui Meng, Yaohui Jin, Wenjun Zeng, Xiaoyu Shen 机构: Shanghai Jiao Tong University, Eastern Institute of Technology, Ningbo

1. 研究背景

1.1 问题定义

文档重排序 (Document Reranking) 是 IR 系统的关键组件，用于精炼检索结果，提升排序质量。
受大型推理模型 (LRMs, 如 DeepSeek-R1, o1) 的启发，近期研究开始将显式的“思维链”(CoT) 推理引入 LLM Reranker 。 via supervised fine-tuning Weller et al. (2025); Ji et al. (2025); Yang et al. (2025) or using reinforcement learning Zhang et al. (2025); Zhuang et al. (2025); Liu et al. (2025).

search-r1

Sat, 01 Aug 2026 22:02:34 +0800

search-r1论文解读

IR on howardatri