跳到正文

内容形态

评测基准 最新动态

模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

7 条精选近 30 天 5 条共收录 16 条

更新

评测基准的精选

10月2日周五第 1–7 条
  1. Ars Technica · AI79

    Ataraxos AI 以 15:1 击败史上最强 Stratego 选手,训练成本仅数千美元

    来自 Carnegie Mellon、MIT、NYU 和 Stanford 的研究团队开发的 AI 系统 Ataraxos,在 Stratego 游戏中以 15 胜 1 负 4 平击败了可能是史上最强的选手 Pim Niemeijer,训练仅用了 16 块 GPU 和几千美元。

    推荐理由:研究披露了Ataraxos如何用远低于DeepMind的预算解决 Stratego 这一隐藏信息博弈难题,展示了不完美信息游戏的新求解路径。

9月30日周三
  1. NVIDIA Blog62

    NVIDIA 与 CoreWeave 合作推出 Vera Rubin NVL72 系统及 CoreWeave Forge 平台

    CoreWeave 在旧金山峰会上宣布 NVIDIA Vera Rubin NVL72 系统正式上线,Cognition(Devin 的开发团队)成为首个生产用户,在 SWE-2 推理工作负载中实现相比 GB200 NVL72 高达 4.8 倍的 token 吞吐量提升。

    推荐理由:原文给出了具体性能数据(4.8x token throughput、3x faster sandbox startup、1.7x Terminal-Bench 提升),读者可据此判断 Vera Rubin 和 CoreWeave Forge 的实际能力变化。

  2. Simon Willison78

    Anthropic Frontier Red Team 报告:大模型在二进制漏洞利用任务上的能力评估

    Anthropic Frontier Red Team 在 100 个二进制漏洞利用任务上测试了多个模型,发现 GLM-5.3 在 4% 的任务中实现了完整控制流劫持,Claude Mythos Preview 为 6%;而更早的模型如 Claude Opus 4.6 和 GLM-5.2 在任何任务中都未成功,表明一个有意义的能力阈值已被跨越。

    推荐理由:研究给出了具体的能力阈值数字和对比基准,读者可以据此理解当前大模型在网络安全任务上的实际进展。

9月8日周二
  1. Google DeepMind76

    Google DeepMind 发布 AlphaGenome Atlas:覆盖人类基因组全部 90 亿个单核苷酸变异的预测图谱

    Google DeepMind 发布 AlphaGenome Atlas 平台,包含人类基因组全部约 90 亿个单核苷酸变异的分子效应预测,总数据量达 1 PB(约为 AlphaFold 数据库的 30 倍)。

    推荐理由:Google DeepMind 一次性公开了全部 90 亿个单核苷酸变异的分子效应预测,并配套 AVI 评分系统,研究者可据此快速评估候选变异的潜在影响。

9月5日周六
  1. GitHub Blog · AI & ML76

    GitHub Copilot 发布 Project HydraFusion 研究预览,通过多模型编排实现前沿质量

    GitHub 发布 Project HydraFusion 研究预览,通过运行时编排选择多模型协同完成任务,支持 Single(单模型直接解决)、Cascade(级联升级)和 Critique(批评修订)三种执行模式。

    推荐理由:原文给出了能力变化和开放入口,读者可以据此判断它会怎样改变现有工作流。

9月1日周二
8月13日周四
  1. Microsoft Research62

    微软发布 MindTopo:揭示 VLM 拓扑推理能力的基准

    微软推出 MindTopo 拓扑推理基准,测试多模态大模型对连通性、分离、秩序、围合和绳结等拓扑关系的理解能力。评测涵盖静态推理和交互式规划两类任务,测试范围包括迷宫连通性判断、绳结真伪识别、围栏内动物定位等场景。结果显示,当前模型在静态识别上表现较好,但在需要跨多步操作保持拓扑一致性的规划任务中显著落后,且错误多发生在规划阶段而非感知阶段,表现为忽视动作后果、丢失任务目标或违反环境物理约束。

    推荐理由:微软发布拓扑推理基准 MindTopo,测试发现当前多模态模型在静态识别上表现尚可,但在需要保持拓扑关系的多步规划任务中表现明显下滑,揭示了感知与行动之间的一致性缺口。