跳到正文

内容形态

评测基准 最新动态

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

5 条精选近 30 天 4 条共收录 11 条

更新

评测基准的精选

今天10月14日周三第 1–5 条
10月13日周二
10月5日周一
  1. GitHub Blog · AI & ML62

    GitHub 发布 ReviewBench:面向 AI 代码审查的开放基准

    GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,基于 1.039 亿个 GitHub pull request 的分布构建,包含来自 187 个开源仓库、覆盖 19 种语言的 219 个 pull request。

    推荐理由:GitHub 公开了代码审查基准的构建方法与评测口径,可据此理解离线指标与线上实验的对应关系。

10月4日周日
  1. Hugging Face Blog71

    微软与 Hugging Face 发布 ThinkingBox:按数据库终态给 AI 智能体打分

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,通过隔离的 MCP 工具会话运行智能体,再按终端后端状态和副作用打分,而非看它生成的句子。

    推荐理由:ThinkingBox 用 507 个有状态工作流的 20 次重复运行,把智能体的评估从工具调用转向终态数据库记录。

8月20日周四
  1. Mistral AI71

    Mistral 发布 Agentic Search 检索层,FinanceBench 正确率从 26.7% 升至 86%

    Mistral 发布 Agentic Search,一个让模型在多步检索循环中查找、打开、导航、阅读和验证信息的检索层,通过 Mistral Search Toolkit 提供,并内置于 Studio 和 Vibe 的 Libraries 中。

    推荐理由:原文给出多步检索循环的工具设计与两组基准数字,可对照一次性 RAG 判断检索层改造的收益边界。