新基准 Taste-Bench 评估 AI 智能体决策质量

研究者推出了 Taste-Bench 基准测试，旨在评估 AI 智能体在长期决策中的“品味”，即在决策分叉点上做出更优选择的能力，而非仅测量任务是否完成。该基准包含 502 道二选一题目，基于真实 agent 运行轨迹中的“决策分叉点”设计，测试模型能否在看到最终结果前选出更优路径。研究团队收集了数千个在编程和 AI 研究任务上的评分 agent 运行轨迹作为原始数据，来源包括 SWE-bench Pro 和 METR 的公开转录版本 MALT。自动生成的标签经过人工审查确认了准确率。该基准及代码现已公开供研究使用。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。