广东护角胶 越Claude Mythos和GPT-5.5！斯坦福Agent验证框架拿下SOTA，Transformer作者转发

Transformer 论文作者 Lukasz Kaiser 以及 GAN 作者 Bing Xu 转发关注了项工作——广东护角胶

奥力斯    万能胶厂家    联系人：王经理    手机：18231788377（微信同号）    地址：河北省任丘市北辛庄乡南代河工业区

LLM-as-a-Verifier验证框架，该法是种通用的验证机制，可与任意 Agent Harness 和模型结。

由斯坦福、伯克利与英伟达联手造。

研究表明通过扩展验证阶段的计量（scaling verification compute），可以显著提升 Agent 整体能，并在有影响力的 AI 编程基准 Terminal-Bench 上越 Claude Mythos 和 GPT-5.5！

LLM-as-a-Verifier 在 AI Coding 基准 Terminal-Bench 和 SWE-Bench Verified 上均取得了当前优（SOTA）能。

法

大多数 Agent Harness 实际上已经"具备"解决问题的能力。

当我们多次运行同个 Agent（例如运行 100 次），它往往能够在某次尝试中生成正确答案。

但问题在于，它们法判断哪个才是正确的。

这问题在长时序任务（long-horizon tasks）中尤为严重。

LLM-as-a-Verifier 通过 scaling评分 token 的细粒度（score granularity）、多次评估（repeated verification）以及评价标准的分解（criteria decomposition），显著提升了验证能力，并进步提了下游任务的成功率。

此外，团队发现随着评分 token 细粒度的提升，正负样本之间的得分区分度会进步拉大。

核心问题：LLM-as-a-Judge 的局限

标准的 LLM-as-a-Judge 通过提示模型输出个评分结果（例如，1 到 8 之间的分数），并选择概率的评分作为终的离散分数。

然而，这种法往往存在评分粒度过于粗糙的问题。

在比较长时序 Agent 轨迹（trajectories ）时，LLM-as-a-Judge 通常会为不同的轨迹分配相同的分数（例如，两条轨迹都被评为 4 分），从而致平局，法有区分它们。

这种粗粒度的评分机制在 Terminal-Bench 上出现了27的平局情况，限制了评判的精确和区分能力。

LLM-as-a-Verifier: 从判分到验证的范式转变

从定义上讲，judge（裁判者）是对整体情况形成总体判断并给出结论的人；而 verifier（验证者）则是对具体事项进行真实及正确核验的人，因此需要细致、具体的评估。

为此，团队提出了 LLM-as-a-Verifier。它通过扩展以下三个维度来提供细粒度反馈：

评分 token 的粒度（granularity of score tokens）广东护角胶

重复验证的次数（repeated verifications）

评估标准的分解（decomposition of evaluation criteria）

给定任务 t 以及两条候选轨迹和 , LLM-as-a-Verifier 构造评分 prompt, 并通过从和中提取 toplogprobs，得到对应的条件分布 :

LLM-as-a-Verifier 将轨迹的励表示为：

其中：

C= 评估标准的数量

K= 重复验证的次数

G= 评分 token 的数量（粒度等）

是模型对评分 token 的概率

= 每个评分 token 映射为标量数值的函数

= 离散评分 token 集

在选择佳轨迹时，我们采用循环赛（round-robin tournament）：对每对候选轨迹 ( i, j ) , 验证器都会利用上述公式计其 reward。

励的轨迹获得胜利，而在全部比较中胜场数多的轨迹，万能胶厂家将被选为终结果。

实验结果

在 Terminal-Bench 2.0 和 SWE-Bench Verified 等复杂的长时序基准任务中，LLM-as-a-Verifier 的表现越了前沿模型并均取得了当前优（SOTA）能。所有实验结果均来源于官排行榜 .

LLM-as-a-Verifier 能够在不同的 Agent Harness 框架中实现缝集成，其通用验证于以下三个基准任务：

ForgeCode：验证准确率提升至 86.4；

Terminus-Kira：准确率提升至 79.4；

Terminus 2：准确率增加至 71.2。

这表明，论针对何种 Agent Harness 或模型，该验证法皆可兼容并提升能。

LLM-as-a-Verifier 在验证准确率和消除平局面先于传统的 LLM-as-a-Judge。

即使在增加重复验证次数的情况下（如 k=16），Verifier 法依然保持了至少 7 的验证准确率优势。

此外，它消除了平局现象。

试验结果表明，增加评分 token 的粒度（granularity）以及提重复验证次数（repeated verifications）均显著提验证准确率。

此外，在评分 token 维度的细化分（1 → 20）中，量化误差得到了大降低，从而接近真实励。

LLM-as-a-Verifier 放弃传统的单评分机制，采用将轨迹验证解构为三个可组的评估标准：

规范规 ( Specification ) ：轨迹是否符所有任务要求（路径、命名等）。

输出格式 ( Output Format ) ：验证输出的格式是否符预期结果。

错误检测 ( Error Checking ) ：轨迹中是否存在明显的错误信号。

相比传统的 LLM-as-a-Judge 法， LLM-as-a-Verifier 框架利用细致的评分粒度、重复验证，以及评估标准分解，实现了的验证准确率和精确的区分能力，消除了评分平局现象，不仅提升了 Agent 能，还显著增强了模型在长时序任务中的安全和稳定。

团队介绍

本项目由斯坦福大学 CS 博士生 Jacky Kwok 负责。主要贡献者包括伯克利 EECS 博士生 Shulu Li。通讯作者有 Ion Stoica（UC 伯克利教授、Databricks 创始人）、Azalia Mirhoseini（斯坦福教授，曾任职于 DeepMind 与 Anthropic）、以及 Marco Pavone（英伟达 AI 与自动驾驶研究总监）。

博客：llm-as-a-verifier.notion.site

代码：llm-as-a-verifier.github.io

联系式：jackykwok@stanford.edu

键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

我们正在招聘名眼疾手快、关注 AI 的学术编辑实习生  � �

感兴趣的小伙伴欢迎关注 � �  了解详情

� � 点亮星标 � �

科技前沿进展每日见

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定广东护角胶，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。