ContractEval：面向程序指令合规的查询条件化执行匹配
arXiv cs.AI · · 发布于 2026-09-11 · 3 分钟阅读
论文提出 CONTRACTEVAL 诊断框架，用于识别大语言模型智能体在执行流程时哪些义务对当前查询处于激活状态，并将其与回答或轨迹证据进行匹配，从而区分遗漏、错误分支、顺序错误、多余操作、不变式违背和输出契约违规等合规失败。在受控的审计程序契约测试集上，仅看输出的评审和带轨迹感知的评审会漏掉许多注入的结构性失败；在给定预期与观测图的情况下，ContractEval 可全部检出并定位这些问题。基于大模型的抽取能保留大部分信号，但对校准较为敏感。该框架不构成合规保证，而是让程序合规变得可审计，而不再隐含于最终答案质量之中。
当前来源仅提供摘要，以下要点基于摘要生成；可通过官方原文查看完整信息。研究背景
LLM 智能体正从回答问题转向执行程序，失败可能不是表面错误，而是最终回答看似可接受，但系统跳过了使答案成立的检查、分支、依赖或不变量。
现有评估局限
仅看输出的评估只能看到答案，轨迹感知评判只能看到活动，两者都无法识别查询中哪些义务被激活。
核心方法
CONTRACTEVAL 将程序性指令表示为查询激活义务，并将其与回答或轨迹证据匹配。
失败分类
该框架把遗漏、错误分支、顺序错误、多余动作、不变量违背和输出契约违规转化为不同的遵循失败。
实验发现
在受控的审计程序契约套件上，仅输出与轨迹感知的 LLM 评判器漏掉许多注入的结构性失败；在黄金预期与观察条件下，ContractEval 能检测并定位全部此类失败。
抽取与局限
LLM 支持的抽取保留不少信号，但对校准敏感；ContractEval 并非合规保证，而是使程序遵循可审计。
SOURCES
共 1 个来源来源与引用
官方原文arXiv cs.AI 原始发布2026-09-11 · 一手信息https://arxiv.org/abs/2609.09458