X-CoSD：高效通信的跨词汇协作推测解码

要点 1

arXiv:2609.09166v1 公告类型：新 摘要：本文研究了协作推测解码 (CoSD)，这是一种分布式大语言模型 (LLM) 推理框架，其中设备上小语言模型 (SLM) 起草候选令牌，服务器 LLM 验证它们。