NewsFi.AI
返回今日
已核验来源

基于内容的长上下文寻址

HuggingFace Daily Papers · · 发布于 2026-09-11 · 1 分钟阅读

NewsFi 导读1 分钟速览

arXiv:2609.07314v1 公告类型:cross 摘要:旋转位置嵌入(RoPE)使用每个 token 的整数位置来确定在注意力内部应用的旋转。这对于本地令牌顺序很有效,但是增加上下文长度会导致位置训练测试不匹配:

1

要点 1

这对于本地令牌顺序很有效,但是增加上下文长度会导致位置训练测试不匹配:

2

要点 2

arXiv:2609.07314v1 公告类型:cross 摘要:旋转位置嵌入(RoPE)使用每个 token 的整数位置来确定在注意力内部应用的旋转。

当前为原文抽取式整理,不包含站外事实推断。
SOURCES

来源与引用

共 1 个来源
官方原文HuggingFace Daily Papers 原始发布2026-09-11 · 一手信息