跳到正文
10月13日周二
  1. Microsoft Research36

    微软 StudentSim:用个性化学生模拟器在真实学习者测试前评估 AI 辅导

    微软研究院提出 StudentSim,一种从公开去标识化学习记录训练个性化 AI 学生模拟器的研究系统,可在真实学习者测试前评估和改进 AI 辅导。该系统同时发布 StudentSimEval 基准,覆盖国际象棋、第二语言英语写作和数学,从行为保真度与指导响应性两个维度评估模拟器,表现优于领先基线。StudentSim 并非产品,不部署于课堂,也不用于替代教师。

10月7日周三
  1. Microsoft Research22

    Microsoft 研究:AI 评测如何暴露传统 benchmark 之外的“意外失败”

    Microsoft 的 Jennifer Neville 在 Microsoft Research Podcast 中讨论评测如何推动 AI 系统性能边界,以及模型在传统 benchmark 之外测试时出现的“意外失败”。她结合自身从数学、物理、认知科学转向计算机科学的经历,分享与当前 AI 系统协作的实用建议,并强调当结果偏离预期时应仔细审视数据。

10月5日周一
  1. GitHub Blog · AI & ML62

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。

    推荐理由:GitHub 公开了代码审查基准的构建方法与评测口径,可据此理解离线指标与线上实验的对应关系。

10月4日周日
  1. Hugging Face Blog71

    微软与 Hugging Face 发布 ThinkingBox:按数据库终态给 AI 智能体打分

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,通过隔离的 MCP 工具会话运行智能体,再按终端后端状态和副作用打分,而非看它生成的句子。

    推荐理由:ThinkingBox 用 507 个有状态工作流的 20 次重复运行,把智能体的评估从工具调用转向终态数据库记录。

9月30日周三
8月20日周四
  1. Mistral AI71

    Mistral 发布 Agentic Search 检索层,FinanceBench 正确率从 26.7% 升至 86%

    Mistral 发布 Agentic Search,一个让模型在多步检索循环中查找、打开、导航、阅读和验证信息的检索层,通过 Mistral Search Toolkit 提供,并内置于 Studio 和 Vibe 的 Libraries 中。

    推荐理由:原文给出多步检索循环的工具设计与两组基准数字,可对照一次性 RAG 判断检索层改造的收益边界。