OpenAI 推出了 Genebench-Pro,这是一个新的基准测试,旨在评估 AI 模型在复杂、多步骤任务上的能力。该基准包含一系列需要推理、规划和工具使用的挑战。初步结果显示,当前模型在 Genebench-Pro 上的表现仍有提升空间。
新闻评测跑分
Genebench-Pro 内部解析
OpenAI 发布了 Genebench-Pro 基准测试,用于评估模型在复杂任务上的表现。
OpenAI1 分钟阅读

本文由 UsingAI 聚合整理。
阅读原文 ↗OpenAI 发布了 Genebench-Pro 基准测试,用于评估模型在复杂任务上的表现。

OpenAI 推出了 Genebench-Pro,这是一个新的基准测试,旨在评估 AI 模型在复杂、多步骤任务上的能力。该基准包含一系列需要推理、规划和工具使用的挑战。初步结果显示,当前模型在 Genebench-Pro 上的表现仍有提升空间。
本文由 UsingAI 聚合整理。
阅读原文 ↗
Vals AI 对 25 个模型的政治立场评测显示,中国模型对政治问题的回答并不像预期那样整齐划一,西方模型偶尔也会贴近北京官方立场,而提示词语言对回答倾向的影响尤其显著。

Google 团队构建了能在做饭、组装家具时按需出声的视频智能体 StreamVibe,但基准测试显示现有模型在长视频中难以判断“何时该开口”,错误会累积、回答质量骤降。

一项在 Hacker News 引发讨论的统计显示,AI 回答中引用的统计数据仅约 40% 能回溯到原始研究,暴露出大模型在事实溯源上的系统性短板。