超越矩阵符号:二次谱下降
HuggingFace Daily Papers · · 发布于 2026-09-11 · 1 分钟阅读
arXiv:2609.07597v1 公告类型:cross 摘要:Muon 可以解释为在谱范数球上优化线性局部目标。这给出了矩阵符号更新,保留了梯度的奇异方向,并将相同的幅度分配给所有活动奇异
要点 1
这给出了矩阵符号更新,保留了梯度的奇异方向,并将相同的幅度分配给所有活动奇异
要点 2
arXiv:2609.07597v1 公告类型:cross 摘要:Muon 可以解释为在谱范数球上优化线性局部目标。
SOURCES
共 1 个来源