噪声、方向与实验预算

Batch size 与方向相关的优化动力学

固定样本预算 $T$，增大 batch size $B$ 会降低梯度噪声，同时减少更新次数。论文用 noisy quadratic model 区分这两个因素。[1]

$h_i>0$：曲率；$c_i>0$：单样本梯度噪声方差；$z_i\sim\mathcal N(0,1)$。方向相关的曲率—噪声比为 $\mathrm{CNR}_i=h_i^2/c_i$。

理想 Muon 在 $1\times1$ 矩阵上对应 sign 操作，因此先考察带 momentum 的 SignSGD：

局部机制。 固定 $w_i$，令 momentum 达到稳态。在独立高斯噪声下，

每处理一个样本的平均位移与 $\eta\,\operatorname{erf}(q_i)/B$ 成正比。保持这一局部位移给出：

方向干预。 从同一 checkpoint 出发，将 batch 从 $128\mathrm K$ 增至 $2\mathrm M$，仅在选定方向保留小 batch 更新。局部 loss 差距恢复比例为

噪声可以平滑 sign，也可能改变特征学习顺序

作者报告：小 batch 噪声能恢复 full-batch spectral descent 中缺失的顺序特征学习，并在深线性模型中形式化这一机制。[3][4]

下面是用于理解“噪声平滑”的标量示意推导。取 $z\sim\mathcal N(0,1)$、$\sigma>0$，则

发现 scaling law，本身也有算力预算

上式只是候选形式。Agent 既不知道正确函数形式，也不能免费获得全部观测；它拿到的是带价格的实验目录。[5]

$x_i$ 是训练配置，$c_i$ 通常为训练 FLOPs；购买后才看到结果 $y_i$。略去分组记号，每轮购买 $A_t$，在时刻 $\tau$ 停止：

评价同时记录 $(\text{更大规模上的外推误差},\,\rho)$。因此需要联合决定买什么实验、何时停止、拟合什么规律。测试配置比候选实验更大，无法直接购买。[5]

Monarch-Muon：将大矩阵正交化拆成小块

Monarch 因子对权重施加结构，减少权重、梯度和优化器状态，并产生小块更新子问题。摘要中的 6.89B 系统测量为：[8][9]