教师几何结构如何决定师生神经网络的可学习性

师生系统常被用作研究学习的抽象框架：教师神经网络生成训练标签，学生学习实现同一函数。但已有研究通常假设教师参数随机生成且服从正态分布，忽视了教师自身结构，从而掩盖了不同教师可学习性的巨大差异。该论文将可学习性形式化为收敛到全局最小值的成功率，并考察其与过参数化程度、学习算法、学生初始化分布以及教师几何结构的关系。作者分别构造出最大化节点差异性的简单分布与最小化节点差异性的困难分布，发现两者在大量设置和不同激活函数下导致的成功率存在明显差距。为解释这一差距，作者研究含两类次优局部极小值（位于数据分布边缘的越界极小值与内部的内部极小值）的小型神经网络损失景观，在无限数据与快速读出层的假设下将其解析约化为二维，表明内部极小值的吸引域随教师结构而变化。在较大网络中，差异性最大的教师带来更多内部极小值，差异性最小的教师带来更多越界极小值。基于上述分析，作者分别提高读出层学习率并降低内部偏置学习率，从而提升了成功率。