学习动力学的统计力学：一种函数空间方法
arXiv cs.AI · · 发布于 2026-09-11 · 3 分钟阅读
深度神经网络在庞大参数空间中具有高度非线性动力学，却展现出规律的宏观行为。本文直接在函数空间建立学习的统计力学描述：将参数配置视为微观实现，将函数及其动力学算子视为宏观变量。对于均方损失，精确误差动力学由学习算子 M=JJ* 支配。结合条件随机动力学的动力学玻尔兹曼权重与参数空间态密度，其局部曲率定义统计算子 B，并对局部涨落积分，得到涨落修正项 Φ(M;B)。在固定谱下，当 M 与 B 对易时该涨落项具有旋转平稳性；通过将 M 的大特征值与 B 的小特征值配对可使其最小化，并产生抵抗旋转失配的局部恢复贡献。对于在温和稳定统计条件下的修正线性单元型函数空间，B=σ_ξ^2 L* K L，其中 L 度量粗粒化二阶结构。因此，低 B 区域在 K 的有界各向异性范围内对应低结构曲率，意味着偏好沿平滑、数据自适应方向更快弛豫。这些结果指出，函数空间是研究学习中稳定集体组织的自然宏观层次。
当前来源仅提供摘要，以下要点基于摘要生成；可通过官方原文查看完整信息。核心主张
深度神经网络虽在庞大参数空间中具有高度非线性动力学，却表现出规则的宏观行为；论文主张用统计力学直接在函数空间描述学习。
层次设定
参数配置被视为微观实现，函数及其动力学算子被视为宏观变量，从而把学习的集体行为放到函数空间这一宏观层级考察。
精确误差动力学
在均方损失下，精确的误差动力学由学习算子 M=JJ* 支配。
涨落项公式
将条件随机动力学的动力学玻尔兹曼权重与参数空间态密度（其局部曲率定义统计算子 B）结合，并对局部涨落积分，得到 Φ_fluc(M;B)=σ_ξ²/2·log det(M⁻¹+B)+常数。
驻定与最小化条件
在谱固定的情况下，该涨落项在 [M,B]=0 时旋转驻定，并通过把 M 的大特征值与 B 的小特征值配对而达到最小。
回复效应
该涨落项产生一个对抗旋转失配的局部回复贡献。
ReLU 型情形的形式
对 ReLU 型函数空间，在温和且稳定的统计条件下，B=σ_ξ²L*KL，其中 L 度量粗粒化的二阶结构。
结构曲率与松弛偏好
因此低 B 扇区（在 K 的有界各向异性意义下）对应低结构曲率，意味着学习偏好沿光滑、数据自适应方向的更快松弛。
总体结论
这些结果说明函数空间是研究学习中稳定集体组织的自然宏观层级。