特征叠加中线性可达性的高概率保证
arXiv cs.AI · · 发布于 2026-09-11 · 2 分钟阅读
神经网络可通过特征叠加编码比维度更多的概念，但跨特征干扰会限制同时激活特征的线性可达性。该研究将线性可达性视为压缩感知问题，在次高斯噪声下为固定支撑导出高概率界，证明充分维度会随激活特征数与候选概念数的对数呈线性增长，而非此前最坏情况下的二次上限。研究还通过高斯尾部近似在不同系统参数下验证这些界。结果量化了线性表示假设的几何约束，为评估稀疏自编码器、组合泛化与神经可解释性提供框架。
研究背景
神经网络可通过特征叠加编码比维度更多的概念，但跨特征干扰会限制同时激活特征的线性可达性。
方法框架
论文将线性可达性问题转化为压缩感知问题，以便使用相关理论工具进行分析。
主要理论结果
在亚高斯噪声下，论文针对固定支撑集推导高概率界，证明充分维度为线性缩放 d=O_ε(k log m)，而非此前最坏情况的二次限制。
验证方式
论文通过高斯尾部近似，在不同系统参数下验证这些界。
理论意义
这些结果量化了线性表示假说的几何约束。
应用方向
结果为评估稀疏自编码器、组合泛化和神经可解释性提供框架。
平台说明
arXivLabs 是允许合作者在 arXiv 网站直接开发和分享新功能的框架。
合作原则
与 arXivLabs 合作的个人和组织接受开放、社区、卓越和用户数据隐私等价值；arXiv 只与认同这些价值的伙伴合作。
项目参与
若有人有能为 arXiv 社区增值的项目想法，可进一步了解 arXivLabs。
SOURCES
共 1 个来源来源与引用
官方原文arXiv cs.AI 原始发布2026-09-11 · 一手信息https://arxiv.org/abs/2609.09556