RL

论文笔记:《Rethinking Reasoning in Document Ranking: Why Chain-of-Thought Falls Short》 arxiv25 作者: Xuan Lu, Haohang Huang, Rui Meng, Yaohui Jin, Wenjun Zeng, Xiaoyu Shen 机构: Shanghai Jiao Tong University, Eastern Institute of Technology, Ningbo 1. 研究背景 1.1 问题定义 文档重排序 (Document Reranking) 是 IR 系统的关键组件，用于精炼检索结果，提升排序质量 。 受大型推理模型 (LRMs, 如 DeepSeek-R1, o1) 的启发，近期研究开始将显式的“思维链”(CoT) 推理引入 LLM Reranker 。 via supervised fine-tuning Weller et al. (2025); Ji et al. (2025); Yang et al. (2025) or using reinforcement learning Zhang et al. (2025); Zhuang et al. (2025); Liu et al. (2025). ...

Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning 2025.8.5 作者:Bowen Jin , Hansi Zeng , Zhenrui Yue , Jinsung Yoon $^{3}$ , Sercan Ö. Arik $^{3}$ , Dong Wang , Hamed Zamani , ==Jiawei Han== deepseek r1+搜索引擎 目录 一、核心问题与创新 二、核心架构 RL 训练框架: 将搜索引擎建模为环境的一部分，支持 PPO 和 GRPO。 多轮交错交互: 支持“推理-搜索-再推理”的动态链条。 检索 Token 掩码: 关键的稳定训练技术，仅优化模型生成的 Token。 奖励机制: 证明了简单的结果导向奖励足以涌现复杂的搜索行为。 三、实验 1、实验目标 2、基准与指标 3、核心结果与对比分析 一、核心问题与创新 当前 LLM 在处理需要外部知识的复杂任务时面临的核心瓶颈：不仅需要推理能力，还需要高效获取最新信息的能力，而现有的结合方式并不完美。 具体体现在两个层面： RAG 的局限性：传统的 RAG（检索增强生成）通常是“先检索后生成”的静态流程。LLM 并没有经过训练去学习“如何与搜索引擎交互”，仅仅是被动接收检索结果，这在处理复杂多跳问题时往往效果不佳 4。 ...