UniMoMo:大型推荐模型的基于专家合并的 MoE 加速
HuggingFace Daily Papers · · 发布于 2026-09-11 · 1 分钟阅读
arXiv:2608.08627v2 公告类型:替换 摘要:稀疏专家混合 (MoE) 层通过条件计算扩展推荐容量,但训练有素的检查点仍然在其完整的专家库上进行存储和路由。我们研究一个部署问题:转换该检查
要点 1
arXiv:2608.08627v2 公告类型:替换 摘要:稀疏专家混合 (MoE) 层通过条件计算扩展推荐容量,但训练有素的检查点仍然在其完整的专家库上进行存储和路由。
SOURCES
共 1 个来源