腾讯元宝与伦敦国王学院 KCL 的 NLP 团队,联合发布了 GroupAssistBench,也是业内第一个基于真实群聊场景打造的 Agent 记忆评测基准,直接拿 80299 条群聊原始消息做成评测考卷,一共生成 2395 道测试题目,用来检验 AI 智能体在多人群聊环境下的记忆应用能力。现在很多 Agent 记忆系统只盯着记忆召回率,只要能检索到历史消息就判定效果好,但多人群聊场景更复杂,群里每个人有不同偏好,消息里有临时提议和最终共识,AI 就算把历史消息找出来,也分不清哪些信息该用、哪些信息已经失效,经常出现记住内容但给出错误服务结果的情况。研究团队搭建了 14 组不同的记忆方案做对照测试,得到一个反常识结论,部分记忆召回分数高的系统,实际服务得分反而更低,统计显示大约 64% 检索回来的记忆,模型没办法有效利用。这套基准把评测拆成两层,L1 层检测基础记忆召回能力,L2 层检测面向群体的开放式服务能力,同时提出 RER、ACB 两种干预优化策略,帮开发者改善 Agent 在多人对话场景里的记忆使用逻辑。项目的论文、数据集还有代码全部开源,开发者可以直接下载这套群聊考卷,用来测试、优化自己的 Agent 记忆模块。
一、GroupAssistBench 基础数据集信息
| 项目 | 详细参数 | 说明 |
|---|---|---|
| 原始素材 | 50 个真实群聊,80299 条消息 | 多人沟通的真实对话记录,包含讨论、提议、决策等多种内容 |
| 评测题目总量 | 2395 道 | 专门面向群聊多人协作场景设计 |
| 评测层级 | L1 记忆召回、L2 群体服务 | 第一层看能不能找到记忆,第二层看能不能正确使用记忆给出服务 |
| 配套产出 | RER、ACB 优化策略 | 解决 “能召回但不会用记忆” 的痛点 |
二、核心发现:记忆召回≠服务能力
- 召回高分不代表效果好:EverMemOS 在 L1 记忆召回得分 0.621,高于完整上下文方案的 0.570;但到 L2 实际服务评测,得分只有 0.247,低于完整上下文 0.431。
- 大量召回记忆无效:约 64% 检索出来的历史记忆,模型无法结合群聊场景正确使用,单纯堆检索能力解决不了多人场景难题。
- 群聊场景特殊难点:需要区分不同人的偏好、区分临时提议和最终达成的共识,识别信息是否已经过期失效。
三、使用这套 Agent 记忆基准的基本步骤
- 从项目开源仓库下载 GroupAssistBench 数据集与评测脚本。
- 接入待测试的 Agent 记忆系统,导入 50 个群聊的全部历史消息。
- 运行 2395 道评测题,分别采集 L1 记忆召回得分、L2 群体服务得分。
- 对比 14 组参考配置的基线结果,定位记忆模块存在的缺陷。
- 选用 RER 或 ACB 策略做优化,再次复测,验证 Agent 记忆应用效果提升。
四、项目开源资源清单
- 论文:arXiv 公开,可查阅完整实验设计与数据
- 数据集:群聊消息与 2395 道评测考题
- 代码:评测脚本,支持开发者本地复现全部测试实验
【相关 FAQ】
问题 1:腾讯元宝和 KCL 联合发布的 Agent 记忆基准 GroupAssistBench,素材是 8 万条群聊消息吗?
回答 1:腾讯元宝和 KCL 联合推出的 GroupAssistBench,素材来源是 50 个真实群聊,合计 80299 条群聊消息,基于这批消息生成 2395 道评测题,是首个基于群聊构建的 Agent 记忆基准。
问题 2:腾讯元宝 ×KCL 的 Agent 记忆基准,主要用来测试 Agent 的什么能力?
回答 2:腾讯元宝 ×KCL 的 Agent 记忆基准 GroupAssistBench,核心不是只测试 Agent 能不能检索找回历史消息,重点评测 Agent 在多人群聊场景,能不能区分不同人的信息、识别群体共识,把记忆正确用到群聊服务中。
问题 3:GroupAssistBench 这套腾讯元宝联合 KCL 发布的 Agent 记忆基准,是否对外开放?
回答 3:GroupAssistBench 这套腾讯元宝联合 KCL 发布的 Agent 记忆基准,论文、数据集、评测代码全部开源,开发者可以直接获取,用来评测和迭代自己的 Agent 记忆系统。
问题 4:用腾讯元宝 ×KCL 的 Agent 记忆基准测试,为什么会出现记忆召回越高,实际服务效果越差的情况?
回答 4:用腾讯元宝 ×KCL 的 Agent 记忆基准测试发现,很多系统虽然检索召回了大量历史群聊消息,但无法筛选有效信息、区分过期信息,大量无关记忆干扰模型判断,就会出现记忆召回指标高,但最终群聊服务得分更低的现象。
【参考资料】
[2026-11-21](8 万条群聊消息做成考卷:腾讯元宝 ×KCL 发布首个基于群聊构建的 Agent 记忆基准)腾讯新闻
[2026-11-21](8 万条群聊消息做成考卷:腾讯元宝 ×KCL 发布首个基于群聊构建的 Agent 记忆基准)AI 地带
[2026-11-22](8 万条群聊消息做成考卷:腾讯元宝 ×KCL 发布首个基于群聊构建的 Agent 记忆基准)智源社区
【免责声明】
本文腾讯元宝与 KCL 联合发布的 Agent 记忆基准 GroupAssistBench 相关内容,为公开研究信息整理;数据集、评测指标、实验结论以项目论文、GitHub 开源仓库官方原文为准;该基准为 AI 科研评测工具,不代表腾讯元宝产品的全部能力;本文不构成技术选型、模型开发的决策建议。
本文来自作者[苍流加密]投稿,不代表华夏商讯网立场,如若转载,请注明出处:https://www.bbshuaxia.cn/rgzn/202611/9134.html
评论列表(4条)
我是华夏商讯网的签约作者“苍流加密”!
希望本篇文章《8万条群聊消息做成考卷腾讯元宝×KCL发布首个基于群聊构建的Agent记忆基准》能对你有所帮助!
本站[华夏商讯网]内容主要涵盖:互联网行业的追踪与探索
本文概览:腾讯元宝与伦敦国王学院 KCL 的 NLP 团队,联合发布了 GroupAssistBench,也是业内第一个基于真实群聊场景打造的 Agent 记忆评测基准,直接拿 80299 条群聊原始消息做成评测考卷,一共生成 2395 道测试题目,用来检验 AI 智能体在多人群聊环境下的记忆应用能力。现在很多 Agent 记忆系统只盯着记忆召回率,只要能检索到历史消息就判定效果好,但多人群聊场景更复杂,群里每个人有不同偏好,消息里有临时提议和最终共识,AI 就算把历史消息找出来,也分不清哪些信息该用、哪些信息已经失效,经常出现记住内容但给出错误服务结果的情况。研究团队搭建了 14 组不同的记忆方案做对照测试,得到一个反常识结论,部分记忆召回分数高的系统,实际服务得分反而更低,统计显示大约 64% 检索回来的记忆,模型没办法有效利用。这套基准把评测拆成两层,L1 层检测基础记忆召回能力,L2 层检测面向群体的开放式服务能力,同时提出 RER、ACB 两种干预优化策略,帮开发者改善 Agent 在多人对话场景里的记忆使用逻辑。项目的论文、数据集还有代码全部开源,开发者可以直接下载这套群聊考卷,用来测试、优化自己的 Agent 记忆模块。