UnitBoost:以合并算子而非模型管理复合式大语言模型系统
arXiv cs.AI · · 发布于 2026-09-11 · 4 分钟阅读
复合式大语言模型系统常通过增加一个更高层的大语言模型来解决协调问题,由此形成的元智能体负责读取各工作单元输出、撰写最终答案、分配后续调用并决定何时停止;这种方式表达能力强,却把三项控制决策集中在一次不透明且对顺序敏感的模型调用中。本文追问管理者是否必须具备生成能力。UnitBoost 用定义明确的元级算子取代该模型:任务给定的单元映射把工作单元输出转为槽-值提案,受限的 argmax 组装输出,未填充或不受支持的槽则成为显式残差留待下一轮。该算子与顺序无关、记录单元来源,并给出简单保证:在无耦合约束时,同一准入分数下的按单元最大化优于对任何完整候选的选择。在三个留出基准上,它比用金标签选出的最佳单一候选高出 0.060 至 0.195 个绝对任务得分,比输入匹配的生成式管理者高出 0.048 至 0.076;仅替换管理步骤即让六种复合系统配置提升 0.013 至 0.182。残差导向轮次将 FanOutQA 的单元格 F1 从 0.4778 提升到 0.5524;匹配对照显示真实残差优于随机目标与普通重读,而无标签供给信号能在出现一轮无产出后标记资源耗尽。同一分析还测度了三种无法获得此类增益的条件,并将跨单元耦合量化为修复成本。管理者放弃语义自由,换来顺序不变性、单元来源可追溯以及可检验的失败条件。
当前来源仅提供摘要,以下要点基于摘要生成;可通过官方原文查看完整信息。协调问题的来源
复合式大语言模型系统常通过增加一个更高层级的大语言模型来解决协调问题,由此产生的元智能体负责读取工作模块输出、撰写最终答案、分配后续调用并决定何时停止。
原有做法的代价
这种元智能体表达力强,但把三项控制决策集中在一次不透明、对顺序敏感的模型调用中。
研究提问
论文追问:管理者究竟是否必须是生成式的。
UnitBoost 的机制
UnitBoost 用定义好的元层算子取代管理模型:任务给定的单元映射把工作模块输出转为槽—值提案,受约束的 argmax 负责组装输出,未填充或不受支持的槽位成为显式残差,进入下一轮。
算子性质与保证
该算子与顺序无关,记录单元来源,并给出保证:在无耦合约束的情况下,同一准入分数下的逐单元最大化,支配对任何完整候选的选择。
基准表现
在三个留出基准上,其表现超过用金标签选出的最佳单候选 0.060–0.195 个绝对任务得分点,也超过输入匹配的生成式管理者 0.048–0.076。
替换管理步骤的效果
仅替换管理步骤,即可让六种复合系统配置提升 0.013–0.182。
残差导向轮次
残差导向的轮次把 FanOutQA 的单元 F1 由 0.4778 提升到 0.5524;匹配的对照显示,真实残差优于随机目标与普通重读。
供给信号与终止
一个无需标签的供给信号,在一个无产出的轮次之后即标记出资源耗尽。
无增益条件与耦合成本
同一分析度量了三种得不到此类增益的情形:只有一个不可分割单元、单元身份不可获得、以及端点对每一个输出单元都计费;并把跨单元耦合量化为修复成本。
明确取舍
管理者放弃了语义自由,换得顺序不变性、单元来源可追溯以及可检验的失效条件。