基于内容的长上下文寻址
HuggingFace Daily Papers · · 发布于 2026-09-11 · 1 分钟阅读
arXiv:2609.07314v1 公告类型:cross 摘要:旋转位置嵌入(RoPE)使用每个 token 的整数位置来确定在注意力内部应用的旋转。这对于本地令牌顺序很有效,但是增加上下文长度会导致位置训练测试不匹配:
要点 1
这对于本地令牌顺序很有效,但是增加上下文长度会导致位置训练测试不匹配:
要点 2
arXiv:2609.07314v1 公告类型:cross 摘要:旋转位置嵌入(RoPE)使用每个 token 的整数位置来确定在注意力内部应用的旋转。
SOURCES
共 1 个来源