当行业习惯用刷榜成绩宣告“智能体元年”时,一份新基准给出了截然相反的读数。

发生了什么

半导体与AI研究机构 SemiAnalysis 推出了名为 GDPx 的新基准,用模拟真实知识工作的任务来评测 AI 智能体,覆盖范围从芯片设计到量化交易。结果显示,没有任何模型得分超过 12%。其中 Claude Opus 5.5 以微弱优势领先 Gemini 4 Carbon。

报道同时指出,该基准也受到质疑:每个领域内的任务数量偏少,且不同模型之间的测试条件并不完全一致。这意味着 12% 这个数字本身不应被当作精确的能力刻度,而更像一个方向性信号。

为什么重要

过去一年,智能体评测的主流做法是在相对干净、边界清晰的任务上打分——改一个 bug、跑通一段脚本、完成一次网页操作。这类基准容易做出漂亮的数字,但和“能不能独立完成一份真实的知识工作”之间隔着不小的距离。

GDPx 的取向是把评测往真实工作流里推:任务本身需要领域知识、多步推理和工具调用,且没有标准答案式的捷径。芯片设计和量化交易这两个方向尤其典型——它们对错误的容忍度低,对上下文理解的要求高,恰好是当前智能体最容易露怯的地方。

换句话说,这份基准的价值不在于给出排名,而在于把“智能体已接近初级知识工作者”这类叙事拉回到可验证的地面上。

影响与看点

对模型厂商而言,低分并不必然意味着产品退步,而是说明优化目标与真实工作之间存在错配:在窄任务上做强化学习容易见效,在长链条、高不确定性的任务上则很难。接下来值得观察的是,厂商会不会把资源从刷榜转向长程任务可靠性的工程化。

对开发者来说,这份结果支持一个务实的判断:把智能体放在有人复核的环节里做加速器,而不是直接交给它端到端负责。至少在需要领域判断的任务上,当前的边际收益仍来自“人机协作流程设计”,而非模型本身。

对基准本身也应保持审慎。任务数量少、条件不统一,意味着单次排名波动可能很大,后续版本能否扩充样本、统一测试环境,将决定它能否成为被引用的参照系。

一个独立的判断是:智能体评测正在从“能力展示”转向“能力审计”,而审计的第一批结论往往不好看——这恰恰是它开始有用的标志。