通过令牌感知相位注意的位置信息编码
HuggingFace Daily Papers · · 发布于 2026-09-11 · 1 分钟阅读
arXiv:2509.12635v4 公告类型：替换交叉 摘要：我们在实际假设下证明，旋转位置嵌入（RoPE）在注意力得分中引入了固有的依赖距离的偏差，这限制了RoPE建模长上下文的能力。RoPE扩展方法可能
要点 1
arXiv:2509.12635v4 公告类型：替换交叉 摘要：我们在实际假设下证明，旋转位置嵌入（RoPE）在注意力得分中引入了固有的依赖距离的偏差，这限制了RoPE建模长上下文的能力。
SOURCES
共 1 个来源