通过查询-键对齐量化Transformer中的逻辑一致性

大语言模型在多步逻辑推理方面仍面临挑战。思维链提示虽能生成中间步骤，但缺乏评估逻辑转换连贯性的机制。本文提出一种轻量级评估策略，利用Transformer注意力头内部的查询-键对齐，通过单次前向传播从选定头中提取“查询-键得分”，揭示能可靠区分有效与无效推理的潜在表示，为传统基于消融的技术提供可扩展替代方案。在多个逻辑推理基准上的实证验证表明，该方法对干扰项和推理深度增加具有更好的鲁棒性。实验涵盖1.5B至70B参数的不同模型。