Why Do LLMs Get Lost in Multi-Turn Conversation?

2026/06/22 · Runqing Xu

Part 1

对话是 LLM 的第一界面

从 2022 年 ChatGPT 发布至今，对话式 AI 已发展为覆盖数十亿用户的基础设施。

10亿+

ChatGPT MAU
2026.06

7.5亿

Gemini MAU

4.2亿

Copilot 全平台

1.4亿

DeepSeek (中国)

用户的真实使用模式

通用聊天

平均 2–5 轮
据 LMSYS-Chat-1M、WildChat

任务导向

平均 7–15 轮
编程、客服、咨询等

Agent 协作

平均 15–50+ 轮
编码助手、复杂规划

核心观察 — 对话是用户表达需求、迭代想法、协作完成任务的基本方式。然而学术评测几乎全在单轮设定下进行。

Part 1

评测的断层

学术 benchmark 几乎全部是 single-turn, fully-specified 设定。

Benchmark	领域	设定	状态
MMLU / MMLU-Pro	知识推理	单轮	已饱和 (>90%)
HumanEval	代码生成	单轮	已饱和
GSM8K	数学推理	单轮	已饱和 (~99%)
GPQA-Diamond	科学推理	单轮	活跃
SWE-Bench Verified	软件工程	单轮	活跃
MT-Bench	多轮对话	2 轮 / Episodic	已饱和

Part 1

两种 “多轮” 的本质区别

Episodic 多轮 — 现有 benchmark

每轮是独立子任务，可单独评测。

例：“写个故事” → “改成第一人称”

本质上是多个单轮的串联。每轮指令完整指定。

Underspecified 多轮 — 真实对话

信息跨轮逐步披露，需跨轮融合。

例：“写个函数” → “处理 JSON” → “这几个字段”

新信息可能推翻早期假设。每轮指令不完整。

Herlihy et al. (UAI 2024) — 真实人机对话中 underspecification 极为普遍。然而现有多轮 benchmark 几乎全采用 episodic 设定，系统性地高估了 LLM 的多轮能力。

Part 1

多轮对话的四个结构性挑战

1

信息分散

完成任务所需信息散落不同 turn。即使总信息量相同，分散到多轮后性能显著下降。

2

需求演化

用户需求在对话中不断变化：从模糊到具体，从扩展到收窄。中间结果可能改变方向。

3

上下文增长

成本线性增长、延迟增加。Lost-in-the-Middle 效应使中间位置检索准确率下降 20–40%。

4

新旧冲突

新信息推翻旧信息时，模型无法自我纠正。被自己的旧回复“锚定”。

“When LLMs take a wrong turn, they get lost and do not recover.”

Part 1

上下文管理：现有范式

方法类别	核心思路	代表工作	优化目标
扩展窗口	更长的 context window	Gemini 2M, Llama 4 Scout	容量
压缩 / 摘要	压缩为更短表示	Auto-compact, Mt-osc	效率
外部存储	存入外部 memory	MemGPT, RAG	容量 + 检索
剪枝 / 截断	移除不重要的 token	LLMLingua, Provence	效率

这些方法共享同一个优化方向：如何在有限窗口中装下更多有用信息。但它们没有回答另一个问题 — 上下文中已有的信息，是否都还值得保留？

被取代的旧方案、已完成任务的中间过程、被否决的探索路径 — 这些内容不仅占用空间，更可能主动干扰模型对当前任务的推理。这不是“空间不够”的问题，而是上下文质量的问题。

Part 1

本次分享路线图

1

研究领域

2

核心论文

3

学术影响

4

竞争方法

5

Just Forget

Part 2: 核心论文

ICLR 2026 Best Paper 如何量化多轮退化 — 平均 39% 下降

Part 3: 学术影响

289 篇引用论文的数据驱动分析

Part 4: 竞争方法

16 篇直接竞品的深度对比

Part 5: Just Forget

选择性遗忘 — 以上下文质量为目标的管理范式

Part 2 · Core Paper

LLMs Get Lost in Multi-Turn Conversation

Philippe Laban* · Hiroaki Hayashi*
Yingbo Zhou* · Jennifer Neville

Microsoft Research & Salesforce Research

ICLR 2026

Best Paper

200K+

模拟对话

15

被测模型

6

生成任务

Part 2

所有被测模型在多轮对话中性能平均下降 39%

−39%

平均性能下降
(P̄)

−16%

Aptitude 下降
(A⁹⁰)

+112%

Unreliability 增长
(U₁₀⁹⁰)

P̄ 平均性能

同一条指令跑 N=10 次模拟，取平均分。衡量用户平均体验。

A⁹⁰ Aptitude

10 次模拟的第 90 百分位。衡量模型的最佳情况能力——“它能做到多好”。

U₁₀⁹⁰ Unreliability

第 90 与第 10 百分位的差距。衡量最佳与最差的落差——“它有多不稳定”。

退化不是能力不足（Aptitude 仅降 16%），而是可靠性崩塌（Unreliability 翻倍）。模型不是“不会做”，而是“有时做对有时做错”。

Part 2

核心方法：指令分片

将完整单轮指令拆分为原子化的 shard，模拟用户逐步说清需求的过程。

原始指令（Fully-Specified）

Jay is making snowballs to prepare for a snowball fight with his sister. He can build 20 snowballs in an hour, but 2 melt every 15 minutes. How long will it take before he has 60 snowballs?

分片指令（Sharded）

Shard 1: How long before Jay's ready for the snowball fight?
Shard 2: He's preparing for a fight with his sister.
Shard 3: He can make 20 snowballs per hour.
Shard 4: He's trying to get to 60 total.
Shard 5: 2 melt every 15 minutes.

半自动分片流程

1. 分段

LLM 将指令拆为不重叠的原子信息单元

2. 改写

去语境化，改写为口语化的独立 shard

3. 验证

将 shard 拼回单轮跑 10 次模拟，确认分片后性能不低于原指令的 80%——排除改写导致信息丢失

4. 人工审核

逐条审核编辑。每任务 90–120 条，共 1–4 小时

Part 2

模拟环境与五种设定

User Simulator

GPT-4o-mini
持有全部 shard，每轮选择最合适的一个揭示给 assistant

Strategy Classifier

GPT-4o-mini
判断助手回复是否包含 answer attempt——只有 answer attempt 才触发评分，其他类型（澄清、讨论等）继续对话

Answer Extractor

GPT-4o-mini
从自由文本中提取可评估的答案（代码/SQL/数值），送入任务评测器

模拟类型	轮次	信息揭示	目的
FULL	单轮	原始完整指令	基线
CONCAT	单轮	全部 shard 拼接	排除改写因素
SHARDED	多轮	每轮最多 1 个 shard	主实验
RECAP	多轮+末轮复述	同 SHARDED + 末轮全复述	缓解策略
SNOWBALL	多轮+逐轮累积	每轮新 shard + 重述旧 shard	缓解策略

Part 2

6 个生成任务

覆盖编程（Code, Database, Actions）和自然语言（Math, Data-to-text, Summary）两大类，每个任务 90–120 条分片指令，共 600 条。

Part 2

主结果：15 个模型全面退化

Model	P̄ (FULL)	P̄ (CONCAT)	P̄ (SHARDED)	多轮退化幅度
Gemini 2.5 Pro	95.0	95.1	61.2	↓ 35.5%
GPT-4.1	93.8	91.9	58.0	↓ 38.2%
Claude 3.7 Sonnet	90.8	91.2	59.8	↓ 34.1%
o3 (reasoning)	89.4	87.7	57.3	↓ 35.9%
DeepSeek-R1 (reasoning)	87.9	91.1	53.4	↓ 39.2%
GPT-4o	88.2	83.4	51.1	↓ 42.1%
Llama 3.3-70B	85.6	79.7	55.0	↓ 35.8%
Llama 3.1-8B	53.7	49.2	33.6	↓ 37.5%

CONCAT ≈ FULL（平均保持 95.1%）→ 分片改写不丢失信息。SHARDED 的退化完全来自多轮欠规约本身。推理模型（o3, R1）同样退化 35–39%，额外 thinking tokens 无法解决多轮问题。

Part 2

Aptitude vs. Reliability

单轮设定

更强的模型更可靠

Aptitude ↑ ⇒ Unreliability ↓

GPT-4.1 和 Gemini 2.5 Pro 同时拥有最高 aptitude 和最低 unreliability。

多轮设定

所有模型同样不可靠

Aptitude 仅降 16%

Unreliability 飙升 112%

最佳与最差模拟的差距平均达 ~50 分。模型能力还在，但输出质量高度不稳定。

P̄ 的大幅下降主要归因于 Unreliability 的飙升，而非 Aptitude 的下降。模型不是"不会做"，而是"有时做对有时做错"——走错一步就再也回不来。

Part 2

两轮就够，降温无效

Gradual Sharding 实验

固定任务难度，仅变分片粒度（2–8 shards）。

从 2-shard（两轮）开始，退化就已触发。

更多 shard 不会显著加剧退化。

一次性提供所有信息是唯一有效的可靠性保障。

温度实验

单轮：T=0 降 Unreliability 50–80%

多轮：即使 T=0（assistant + user 都为 0），仍残留 U ≈ 30%

早期一个 token 的偏差在多轮中级联放大，温度无法控制这种结构性不稳定。

Part 2

四个根因

1

过早作答

信息最不完整时就给出完整答案。首次 attempt 在前 20% 时 P̄=30.9，在后 20% 时 P̄=64.4。差距 2×。

2

答案膨胀

后续 attempt 叠加旧错误，越来越长。最终答案比单轮长 20–300%。即使做对，代码也长 27%。

3

中间轮遗忘

Lost-in-the-Middle 的多轮版本。第 8 轮摘要中，末轮文档引用率 20%，中间轮仅 8%。

4

过度冗长

5/6 任务中，最短回复比最长回复得分高 10–50%。长回复引入更多假设，分散对用户信息的注意力。

四个根因共同指向一个结论：模型被自己早期生成的（错误）输出所锚定，无法根据后续新信息自我纠正。

Part 2

论文的缓解尝试

Model	FULL	SHARDED	RECAP	SNOWBALL
GPT-4o-mini	86.8	50.4	66.5	61.8
GPT-4o	93.0	59.1	76.6	65.3

SNOWBALL 挽回 15–20%

逐轮重述已有信息，可部署但效果有限。性能仍远低于 FULL。

RECAP 效果更好但不现实

末轮全量复述。需要知道"最后一轮"是哪一轮——实际对话中无法预知。

论文对用户的终极建议：“重开对话” — 让 LLM 先整合信息，再带到新对话中。Cursor 社区经验证实了这一策略。

Part 2 · Key Takeaways

三个结论

问题是真实且严重的

15 个模型、6 个任务、200K+ 对话——无一幸免。平均退化 39%，两轮即触发。

根因是自我污染

不是能力不足（aptitude 仅降 16%），而是模型被自己早期的错误输出锚定，无法自我纠正。

现有缓解远远不够

SNOWBALL 仅挽回 15–20%。降温无效。重开对话有效但代价大——等于全量遗忘。

Part 3 · Impact Analysis

学术影响力分析

基于 Google Scholar 引用数据的数据驱动分析

289

引用论文

13

个月（arXiv 至今）

75%

核心相关

60%

仍为 preprint

Part 3

引用增长与发布平台

时间分布

46% 引用论文自身零被引 → 大量全新工作仍在涌入

发布平台

Part 3

引用论文分类

A 类：16 篇直接竞品

训练时 6 篇
FiC, MAIGO, RLAAR, CCOPD, Memory-Aug RL, RLSTA

推理时 10 篇
ERGO, D-SMART, Mt-osc, Rhea, SeDT, SOMA, Context-agent, Context Branching, Intent Mismatch, Cognitive Fixation

D 类：35 篇上下文管理

几乎全部以效率为目标（节省 token / 降低延迟），无一以可靠性为优化目标

Part 3

16 篇直接竞品的方法路线

训练时方法 — 6 篇

RL / 课程学习：RLAAR, RLSTA, Memory-Aug RL
自蒸馏：FiC, MAIGO, CCOPD

共同思路：修改模型权重，让模型学会在多轮中保持一致性。需要训练数据、GPU 时间，且绑定特定模型。

推理时方法 — 10 篇

全量重置：ERGO（entropy 触发重写）
结构化记忆：D-SMART（知识图谱）, Rhea（episodic memory）
压缩/凝缩：Mt-osc, SOMA, Cognitive Fixation
加权/条件化：SeDT（return-to-go 加权）, Intent Mismatch
分支管理：Context-agent, Context Branching

不改模型权重，模型无关。但切入角度各异——

10 篇推理时方法的共同特点：要么无差别压缩整个历史（Mt-osc, SOMA），要么全量重置（ERGO），要么加权保留（SeDT, Rhea）——都是在决定"保留什么"。

没有一篇反过来问：应该主动丢弃什么？ 被取代的旧方案、已完成的中间过程、被否决的探索路径——这些内容是否应该从上下文中移除？

Part 4 · Competing Methods

竞争方法分析

16 篇直接竞品逐一概览

6

训练时方法

10

推理时方法

训练时 1/6

RLSTA — Breaking Contextual Inertia

Chen et al. · The University of Hong Kong · arXiv 2026

提出 Contextual Inertia：模型刚性遵循先前推理轨迹，70–90% 多轮错误源于此。用模型自身单轮能力作为 RL 锚点奖励打破惯性。Qwen3-4B 上 0.652 → 0.784，跨域泛化。

训练时 2/6

FiC — Found in Conversation

Chen, Wu, Leskovec · Stanford University · arXiv 2026

View-Asymmetric Self-Distillation：用模型自身单轮表现作教师，教导多轮表现。先 SFT 学会 defer，再 VASD 关闭 gap。恢复 92–100% 单轮性能。声称 4 种推理时干预均失败。

训练时 3/6

MAIGO

Zheng et al. · Zhejiang University / Shanghai AI Lab / Tencent · arXiv 2026

诊断 self-contamination：中间轮 assistant 回复携带早期偏差进入后续上下文。用 history-cleaned reference 做 on-policy self-distillation。Qwen2.5-7B SHARDED 52.8 → 66.1。

训练时 4/6

CCOPD — Same Evidence, Different Answers

Lin et al. · Zhejiang University / USTC · arXiv 2026

诊断 self-anchored drift。用冻结 FULL teacher 对 SHARDED student 做 token 级 reverse KL 蒸馏。仅 6K 数学数据 + LoRA（0.53% 参数）即跨 6 类任务提升 32%。

训练时 5/6

RLAAR

M. Li · University of Maryland / Amazon · arXiv 2025

核心洞察：多轮退化与模型无法弃权有关。课程 RL + 可验证奖励 + 弃权奖励，训练模型在信息不足时说“我还不能回答”。Qwen3-8B LiC score 62.6% → 75.1%。

训练时 6/6

Memory-Augmented RL

Luo et al. · University of Melbourne / University of Tokyo · arXiv 2026

训练模型维护 256-token 滚动记忆缓冲区替代全部历史。低成本 sharding pipeline + multi-turn DAPO。关键发现：memory-trained 模型即使给全量历史也优于 full-history baseline。

推理时 1/10

ERGO

Khalid et al. · Algoverse AI Research · 2025

监控 Shannon entropy，entropy 突破阈值时触发全量 prompt 重构——合并所有用户输入为单轮重新生成。平均提升 56.6%，大幅超越 SNOWBALL/RECAP。

推理时 2/10

Intent Mismatch

Liu et al. · City University of Hong Kong / CAS · arXiv 2026

LiC 归因于 pragmatic alignment gap（用户意图 vs 模型理解）。Mediator-Assistant 架构：Mediator 用经验指南将模糊多轮上下文重写为显式单轮指令。平均恢复 ~20%。

推理时 3/10

D-SMART

Lei et al. · East China Normal University · arXiv 2025

增量构建 OWL 知识图谱作为动态记忆 + Reasoning Tree（beam-search 图遍历）做显式推理。MT-Bench-101 上 Dialogue Entailment Rate 提升 48–84%。

推理时 4/10

MT-OSC

Singh et al. · Oracle AI · arXiv 2026

One-off Sequential Condensation：后台异步渐进式压缩对话历史。Few-shot Condenser + rule-based Decider。10 轮对话 token 减少 72%，13 个 LLM 一致保持或提升性能。

推理时 5/10

Rhea

Hong et al. · National University of Defense Technology · arXiv 2025

对话历史解耦为 Instructional Memory（持久全局约束）+ Episodic Memory（dual-LoRA 压缩交互历史）。三层启发式检索。Long-MT-Bench+ 上 +16.4%，仅 6.5% 延迟增加。

推理时 6/10

Context-Agent

Hu et al. · Shandong University · arXiv 2026

对话历史建模为动态树森林（话题树 + 分支）。轻量模型做话题/分支决策，上下文 = 活跃路径全文 + 非活跃路径摘要。Token 减少 45–52%，TCR 提升 3–10%。

推理时 7/10

SeDT

Setti et al. · IIT Mandi / UPES · arXiv 2026

借鉴离线 RL 的 return-to-go conditioning：为每个 shard 标注累积相关性分数（语义 + 词法 + 位置）。Training-free，LiC benchmark 上 9/9 组合均提升，最高 +37.7%。

推理时 8/10

SOMA

Cheng et al. · Florida State / AT&T / Vanderbilt · arXiv 2026

利用多轮对话长尾 token 分布（右图），用小模型在会话内局部近似大模型（soft prompt mining + LoRA）。5+ 轮后省成本，13+ 轮省 37% token，93.1% 响应相似度。

论文无架构图，右图为核心 motivating observation：后续轮次 token 量呈长尾分布。

推理时 9/10

Cognitive Fixation

Gwon et al. · ETRI, South Korea · ICASSP 2026

认知心理学视角：模型产生认知固着。Self-Distancing（第三人称批判，1 次调用）+ Incubation（摘要替代全部助手回复，2 次调用）。恢复至单轮的 85–86%。

ICASSP 短文 · 无架构图

核心机制为两种 prompt 改写策略，不涉及模型修改或额外组件。

推理时 10/10

ContextBranch

Nanjundappa et al. · Northeastern University · arXiv 2025

版本控制语义（checkpoint / branch / switch / inject）应用于 LLM 对话。分支隔离防止上下文污染。质量 +2.5%（d=0.73），上下文减少 58%。900 行 Python SDK。

Part 5 · Our Approach

Just Forget

选择性遗忘作为多轮对话退化的解药

Part 5

三条独立证据链汇聚到同一个结论

证据 1: Lost in Conversation

四个根因中两个直接指向自我污染：答案膨胀（旧错误叠加）、过早作答（假设锚定）。污染源是模型自己的输出，不是用户的话。论文终极建议"重开对话"= 全量遗忘。

证据 2: PI-LLM (Unable to Forget)

同一 key 的多次 value 更新，模型准确率对数线性跌向零。错误几乎全是检索到被覆盖的旧值。明确指示"忽略之前的输入"收效甚微。推理模型同样失败。

证据 3: 认知科学

人类遗忘曲线 = 对"未来需要什么"的最优贝叶斯估计（Anderson & Schooler）。事件边界处主动清空工作记忆（doorway effect）。人类的遗忘是 feature，LLM 的无限累积是缺陷。

被取代的信息留在上下文里就是毒，模型架构上没有"忽略"的能力——唯一出路是从上下文中物理移除。

Part 5

方法设计

把每个对话轮次当作节点，构建基于节点的遗忘机制。

三种遗忘类型

取代性遗忘 Supersession

新 answer attempt 出现 → 遗忘旧 attempt

对应根因：Answer Bloat

情节性遗忘 Episodic

话题切换 / 任务完成 → 折叠整个 episode

对应根因：Premature Answering

死路遗忘 Dead-end

方案被用户否决 → 遗忘探索路径

对应根因：Over-verbosity

两个关键设计

判决式墓碑

遗忘后不留摘要，留判决——"尝试了 X，因 Y 失败，勿重试"。一句话负知识：丢掉污染，保留教训。

不对称遗忘

激进遗忘助手节点（污染源），保守保留用户节点（规格说明）。正反馈：遗忘使上下文变短 → lost-in-the-middle 效应减弱。

Part 5

三个贡献

C1: Stale-Context Interference 的因果证明

在 sharded 对话中选择性物理移除特定类别的助手回复，对比不移除 / 随机移除 / 全量压缩。如果定向移除显著超过等量随机移除 → 因果证明"毒性"来自特定内容，而非上下文长度。

C2: Just Forget 机制

三个设计决策各有可辩护理由：遗忘分类法（精确对应已知根因）、判决式墓碑（保留教训丢掉污染）、不对称遗忘（对应污染来源的不对称性）。

C3: 受控实验证明 "What to forget > How much to forget"

Token 预算配平的消融：Just Forget vs 随机遗忘 vs FIFO vs Auto-compact vs SNOWBALL vs 新对话。同一 benchmark、同一指标、控制一个变量。

Part 5

实验设计

主实验：Lost in Conversation Benchmark

使用原论文 6 个任务、sharded 指令、P̄ / A⁹⁰ / U₁₀⁹⁰ 指标。实施取代性遗忘，目标：unreliability 恢复显著超过 SNOWBALL 的 15-20%。

扩展：Chained-Sharded

任务 A 完成后直接做任务 B。三种干扰条件：不相关 / 表面相似 / 确实相关。测试情节性遗忘 + 验证跨任务污染的存在性。

消融矩阵

条件	删了什么	Token 预算
Just Forget	被取代的 attempts + 死路	~K
随机遗忘	随机等量内容	~K（配平）
FIFO	最早的内容	~K（配平）
Auto-compact	全局摘要	约等效压缩比
SNOWBALL	不删（加法）	0（增加）
无干预	不删	0
新对话	全删	全部

Part 5

预期结论

Just Forget >> 随机遗忘

"删什么比删多少重要"

Token 预算相同，但定向遗忘远优于随机 → 收益来自移除有害内容，而非缩短上下文。

Just Forget >> Auto-compact

"遗忘优于压缩"

压缩保留了错误信息的精华，遗忘直接移除污染源 → 范式性的差异。

Just Forget ≈ 新对话

"最小代价逼近重开"

新对话是全量遗忘（上界），Just Forget 以最小信息损失达到接近效果。

What to forget matters more than how much to forget.

Thank You

2026/06/22 · Runqing Xu