JarvisGUI：迈向跨设备图形用户界面智能体的动态任务组合

现实中的图形用户界面使用常涉及跨多设备、多平台的工作流，需要传递中间结果、维护共享状态并协调异构环境。但现有基准多在单设备、静态定义的任务上评估智能体，跨设备能力几乎未被考察，导致对其真实场景就绪程度的高估。作者提出 JarvisGUI，一个动态基准，在涵盖 Android、Windows 和 Ubuntu 等异构平台的跨设备工作流上评估图形用户界面智能体。JarvisGUI 将任务形式化为轻量类型系统下的输入与输出变换，可自动组合多步跨设备工作流，并在统一框架内动态评估智能体表现。在跨多种操作系统的虚拟环境中进行评估后，JarvisGUI 显示最先进的开源图形用户界面智能体在状态传递意识、跨平台上下文推理与长程依赖管理方面存在困难，暴露出既有基准无法发现的关键能力缺口。