8万条群聊消息做成考卷腾讯元宝×KCL发布首个基于群聊构建的Agent记忆基准

腾讯元宝与伦敦国王学院 KCL 的 NLP 团队,联合发布了 GroupAssistBench,也是业内第一个基于真实群聊场景打造的 Agent 记忆评测基准,直接拿 80299 条群聊原始消息做成评测考卷,一共生成 2395 道测试题目,用来检验 AI 智能体在多人群聊环境下的记忆应用能力。现在很多 Agent 记忆系统只盯着记忆召回率,只要能检索到历史消息就判定效果好,但多人群聊场景更复杂,群里每个人有不同偏好,消息里有临时提议和最终共识,AI 就算把历史消息找出来,也分不清哪些信息该用、哪些信息已经失效,经常出现记住内容但给出错误服务结果的情况。研究团队搭建了 14 组不同的记忆方案做对照测试,得到一个反常识结论,部分记忆召回分数高的系统,实际服务得分反而更低,统计显示大约 64% 检索回来的记忆,模型没办法有效利用。这套基准把评测拆成两层,L1 层检测基础记忆召回能力,L2 层检测面向群体的开放式服务能力,同时提出 RER、ACB 两种干预优化策略,帮开发者改善 Agent 在多人对话场景里的记忆使用逻辑。项目的论文、数据集还有代码全部开源,开发者可以直接下载这套群聊考卷,用来测试、优化自己的 Agent 记忆模块。

一、GroupAssistBench 基础数据集信息

项目详细参数说明
原始素材50 个真实群聊,80299 条消息多人沟通的真实对话记录,包含讨论、提议、决策等多种内容
评测题目总量2395 道专门面向群聊多人协作场景设计
评测层级L1 记忆召回、L2 群体服务第一层看能不能找到记忆,第二层看能不能正确使用记忆给出服务
配套产出RER、ACB 优化策略解决 “能召回但不会用记忆” 的痛点

二、核心发现:记忆召回≠服务能力

  1. 召回高分不代表效果好:EverMemOS 在 L1 记忆召回得分 0.621,高于完整上下文方案的 0.570;但到 L2 实际服务评测,得分只有 0.247,低于完整上下文 0.431。
  2. 大量召回记忆无效:约 64% 检索出来的历史记忆,模型无法结合群聊场景正确使用,单纯堆检索能力解决不了多人场景难题。
  3. 群聊场景特殊难点:需要区分不同人的偏好、区分临时提议和最终达成的共识,识别信息是否已经过期失效。

三、使用这套 Agent 记忆基准的基本步骤

  1. 从项目开源仓库下载 GroupAssistBench 数据集与评测脚本。
  2. 接入待测试的 Agent 记忆系统,导入 50 个群聊的全部历史消息。
  3. 运行 2395 道评测题,分别采集 L1 记忆召回得分、L2 群体服务得分。
  4. 对比 14 组参考配置的基线结果,定位记忆模块存在的缺陷。
  5. 选用 RER 或 ACB 策略做优化,再次复测,验证 Agent 记忆应用效果提升。

四、项目开源资源清单

  • 论文:arXiv 公开,可查阅完整实验设计与数据
  • 数据集:群聊消息与 2395 道评测考题
  • 代码:评测脚本,支持开发者本地复现全部测试实验

【相关 FAQ】

问题 1:腾讯元宝和 KCL 联合发布的 Agent 记忆基准 GroupAssistBench,素材是 8 万条群聊消息吗?

回答 1:腾讯元宝和 KCL 联合推出的 GroupAssistBench,素材来源是 50 个真实群聊,合计 80299 条群聊消息,基于这批消息生成 2395 道评测题,是首个基于群聊构建的 Agent 记忆基准。

问题 2:腾讯元宝 ×KCL 的 Agent 记忆基准,主要用来测试 Agent 的什么能力?

回答 2:腾讯元宝 ×KCL 的 Agent 记忆基准 GroupAssistBench,核心不是只测试 Agent 能不能检索找回历史消息,重点评测 Agent 在多人群聊场景,能不能区分不同人的信息、识别群体共识,把记忆正确用到群聊服务中。

问题 3:GroupAssistBench 这套腾讯元宝联合 KCL 发布的 Agent 记忆基准,是否对外开放?

回答 3:GroupAssistBench 这套腾讯元宝联合 KCL 发布的 Agent 记忆基准,论文、数据集、评测代码全部开源,开发者可以直接获取,用来评测和迭代自己的 Agent 记忆系统。

问题 4:用腾讯元宝 ×KCL 的 Agent 记忆基准测试,为什么会出现记忆召回越高,实际服务效果越差的情况?

回答 4:用腾讯元宝 ×KCL 的 Agent 记忆基准测试发现,很多系统虽然检索召回了大量历史群聊消息,但无法筛选有效信息、区分过期信息,大量无关记忆干扰模型判断,就会出现记忆召回指标高,但最终群聊服务得分更低的现象。

【参考资料】

[2026-11-21](8 万条群聊消息做成考卷:腾讯元宝 ×KCL 发布首个基于群聊构建的 Agent 记忆基准)腾讯新闻

[2026-11-21](8 万条群聊消息做成考卷:腾讯元宝 ×KCL 发布首个基于群聊构建的 Agent 记忆基准)AI 地带

[2026-11-22](8 万条群聊消息做成考卷:腾讯元宝 ×KCL 发布首个基于群聊构建的 Agent 记忆基准)智源社区

【免责声明】

本文腾讯元宝与 KCL 联合发布的 Agent 记忆基准 GroupAssistBench 相关内容,为公开研究信息整理;数据集、评测指标、实验结论以项目论文、GitHub 开源仓库官方原文为准;该基准为 AI 科研评测工具,不代表腾讯元宝产品的全部能力;本文不构成技术选型、模型开发的决策建议。

本文来自作者[苍流加密]投稿,不代表华夏商讯网立场,如若转载,请注明出处:https://www.bbshuaxia.cn/rgzn/202611/9134.html

赞 (0)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 苍流加密
    苍流加密 2026年11月22日

    我是华夏商讯网的签约作者“苍流加密”!

  • 苍流加密
    苍流加密 2026年11月22日

    希望本篇文章《8万条群聊消息做成考卷腾讯元宝×KCL发布首个基于群聊构建的Agent记忆基准》能对你有所帮助!

  • 苍流加密
    苍流加密 2026年11月22日

    本站[华夏商讯网]内容主要涵盖:互联网行业的追踪与探索

  • 苍流加密
    苍流加密 2026年11月22日

    本文概览:腾讯元宝与伦敦国王学院 KCL 的 NLP 团队,联合发布了 GroupAssistBench,也是业内第一个基于真实群聊场景打造的 Agent 记忆评测基准,直接拿 80299 条群聊原始消息做成评测考卷,一共生成 2395 道测试题目,用来检验 AI 智能体在多人群聊环境下的记忆应用能力。现在很多 Agent 记忆系统只盯着记忆召回率,只要能检索到历史消息就判定效果好,但多人群聊场景更复杂,群里每个人有不同偏好,消息里有临时提议和最终共识,AI 就算把历史消息找出来,也分不清哪些信息该用、哪些信息已经失效,经常出现记住内容但给出错误服务结果的情况。研究团队搭建了 14 组不同的记忆方案做对照测试,得到一个反常识结论,部分记忆召回分数高的系统,实际服务得分反而更低,统计显示大约 64% 检索回来的记忆,模型没办法有效利用。这套基准把评测拆成两层,L1 层检测基础记忆召回能力,L2 层检测面向群体的开放式服务能力,同时提出 RER、ACB 两种干预优化策略,帮开发者改善 Agent 在多人对话场景里的记忆使用逻辑。项目的论文、数据集还有代码全部开源,开发者可以直接下载这套群聊考卷,用来测试、优化自己的 Agent 记忆模块。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们