ZHZixun Huang
科研日报 / Research DigestNo. 015
每日研究笔记约 18 分钟

范数增长与环境组成

MuonGS · SynthAPI · MoMuSAM · 精读Performer

三篇主读、四条简讯：累积有效步长、环境组成驱动的agent scaling，以及动量如何兼作扰动探针。经典精读Performer的正随机特征。

MuonScaling lawsPost-trainingRNN / linear attention
每日精读 · 2021Performer
主读已读正文相关方法与结果；未复现实验

后期区间还能积累多少有效步长？

MuonGS: Pretraining LLMs with Relaxed Weight-Norm Control
Athanasios Glentis · Dawei Li · Mingyi Hong
首发2026-10-27 · v1

设r_t为权重Frobenius范数，Muon方向O_t的范数不超过√p，p=min(m,n)。本文看整条轨迹而非单步归一化；累积有效学习率控制任意后期区间的相对位移。[1]

非零迭代；原始有界方向更新 [1]
rt=∥Wt∥F,CT=∑t<Tηtrt,∥WT−Ws∥Fmax⁡(rs,rT)≤p(CT−Cs)r_t=\|W_t\|_F,\quad C_T=\sum_{t<T}{\eta_t\over r_t},\qquad {\|W_T-W_s\|_F\over\max(r_s,r_T)}\le\sqrt p(C_T-C_s)

MuonGS在正交化后去掉径向分量。更新与W_t垂直，从范数平方递推中消除步长的一阶项。[1]

算法1与命题4.1 [1]
O~t=Ot−⟨Wt,Ot⟩Frt2Wt,Wt+1=Wt−ηtO~t,rT2≤r02+p∑t<Tηt2\widetilde O_t=O_t-{\langle W_t,O_t\rangle_F\over r_t^2}W_t,\quad W_{t+1}=W_t-\eta_t\widetilde O_t,\quad r_T^2\le r_0^2+p\sum_{t<T}\eta_t^2
后期区间预算持续增长；并非学得更好的充分条件 [1]
ηt≡η>0:rt=O(t),C2T−CT=Ω(T)\eta_t\equiv\eta>0:\qquad r_t=O(\sqrt t),\quad C_{2T}-C_T=\Omega(\sqrt T)
模型／数据预算对照／指标
GPT-160M / 400M · FineWeb3–25B / 8–63B tokensMuonGS 对比 MuonH、MuonW；验证集 CE/PPL
主读已读正文相关方法与结果；未复现实验

数据组成怎样改变泛化上限？

Scaling Laws for Tool-Use Agents via Controllable Environment Synthesis
Andrew Szot · Samira Abnar · Omar Attia · Abbas Kazerouni · Michael Kirchhof · Cheng-Yu Hsieh · Raviteja Vemulapalli · Alexander Toshev
首发2026-10-27 · v1

SynthAPI拆开应用数A、每应用任务数T、每任务数据库状态数S与状态复杂度D。继token数量scaling（Kaplan 2020、Chinchilla 2022，背景）之后，本文用环境组成预测归一化下游成功率；此处T是任务数，不是训练步数。[2]

按模型规模M分别拟合的经验式；σ为logistic [2]
N=ATS,P^M(A,T,S,D)=σ(c0+cAlog⁡2(ASD)) σ(b0+bTlog⁡2T)νN=ATS,\quad \widehat P_M(A,T,S,D)=\sigma(c_0+c_A\log_2(ASD))\,\sigma(b_0+b_T\log_2T)^\nu

P把各benchmark相对base的增益除以该benchmark最佳观测增益后平均，不是原始准确率。更多应用与数据库多样性提高拟合上限，每应用任务数决定逼近速度。[2]

设计(A,T,S,D)任务数
SubOpt(32,1024,1,2)32,768
Opt(64,128,4,4)32,768
留出最高25%训练FLOPs区域；归一化分数误差 [2]
MAEcomposition=0.0285,MAEquantity=0.1706\mathrm{MAE}_{\rm composition}=0.0285,\qquad\mathrm{MAE}_{\rm quantity}=0.1706
主读已读正文相关方法与结果；未复现实验

动量兼作邻域探针

Sharpness-Aware Muon: Matrix-Aware Optimization with Momentum-Guided Perturbations
Zhiwei Zhai · Wenjing Yan · Ying-Jun Angela Zhang
首发2026-10-27 · v1

MuSAM先按SAM式局部扰动取梯度，再做Muon更新。MoMuSAM用上一步动量替代构造扰动所需的当步干净梯度，省去一次梯度计算。[3]

局部minimax目标与动量引导启发式 [3]
min⁡Wmax⁡∥δ∥F≤ρf(W+δ),δtMo=ρMt−1∥Mt−1∥F\min_W\max_{\|\delta\|_F\le\rho}f(W+\delta),\qquad \delta_t^{\rm Mo}=\rho{M_{t-1}\over\|M_{t-1}\|_F}
以理想polar记法表示；实现采用Newton–Schulz [3]
Mt=μMt−1+(1−μ)∇ℓ(Wt−1+δt;Bt),Wt=Wt−1−ηPolar⁡(Mt)M_t=\mu M_{t-1}+(1-\mu)\nabla\ell(W_{t-1}+\delta_t;\mathcal B_t),\quad W_t=W_{t-1}-\eta\operatorname{Polar}(M_t)
方法每步梯度次数驻点阶
MuSAM2O(T^{-1/4})
MoMuSAM1O(T^{-1/4})
简讯基于摘要

LinMix: Data Mixing as Linear Domain Attribution

LinMix: Data Mixing as Linear Domain Attribution
Hubert Baniecki · Przemyslaw Biecek · Martin Pawelczyk
首发2026-10-27 · v1

基于摘要：在带上限单纯形顶点采样，改善线性domain attribution的设计矩阵，替代集中在先验附近的Dirichlet配比。得到的是proxy拟合后的数据权重，不是自适应采集策略。[4]

简讯基于摘要

Does LLM Pre-Training Typically Occur at the Edge of Stability?

Does LLM Pre-Training Typically Occur at the Edge of Stability?
Yuhang Cai · Haodong Wen · Haofeng Huang · Deyi Liu · Yiyuan Ma · Kaifeng Lyu
首发2026-10-27 · v1

基于摘要：持续负曲率可使局部二次动力学在任意正学习率下发散（Edge of Convexity）。分离此效应后，≤787M预训练常见但并非总有EoS；足够小的学习率或batch可使其消失。按Kaifeng Lyu作者订阅纳入。[5]

简讯基于摘要

EnergyCal: Taming Loss Spikes in Muon-Family Optimizers for Sparse MoE Training

EnergyCal: Taming Loss Spikes in Muon-Family Optimizers for Sparse MoE Training
Masato Fujitake
首发2026-10-27 · v1

已核对原始摘要：EnergyCal针对稀疏MoE中Muon-family的loss spike校准更新能量。尚未读完整算法与受控消融，不推断普遍提速或稳定性保证。[6]

简讯已读实验与局限

Unlearnability in RLVR: What More Samples Reveal About Hard Tasks

Unlearnability in RLVR: What More Samples Reveal About Hard Tasks
Chinmaya Andukuri · Guga Gogia
技术博客 · 2026-10-27

技术博客，已读实验与局限：Qwen2.5-0.5B、MATH 1–4级、100步GRPO、两种子；评估由8次增到256次。初始0/256正确的题约20%后来超过10%成功率。零次观测成功不等于概率为零；有限预算“卡住”不等于不可学习。[7]

历史经典已读特征恒等式、乘法重排、因果前缀和与理论适用范围；未逐行审计证明

先保证特征为正，再处理归一化

Rethinking Attention with Performers
Krzysztof Choromanski et al.
首发2020-09-30；读v4（2022-11-19）§2–3及附录B.1
ICLR 2021 · 线性注意力重要历史工作 ↗

从随机Fourier特征（Rahimi–Recht，2007）与Linear Transformers（2020）出发，Performer目标是近似原softmax核。将d^{-1/4}吸收进query与key，记a_ij=exp(q_iᵀk_j)。[8][9]

高斯矩母函数恒等式；引理1 [8]
ϕω(x)=exp⁡(ω⊤x−∥x∥2/2),ω∼N(0,I),E[ϕω(x)ϕω(y)]=ex⊤y\phi_\omega(x)=\exp(\omega^\top x-\|x\|^2/2),\quad\omega\sim N(0,I),\quad\mathbb E[\phi_\omega(x)\phi_\omega(y)]=e^{x^\top y}
正特征给出无偏核估计 [8]
ϕ(x)=m−1/2(ϕω1(x),…,ϕωm(x)),a^ij=ϕ(qi)⊤ϕ(kj)≥0\phi(x)=m^{-1/2}(\phi_{\omega_1}(x),\ldots,\phi_{\omega_m}(x)),\quad \widehat a_{ij}=\phi(q_i)^\top\phi(k_j)\ge0

正值避免负的归一化和。保持高斯边际的正交方向进一步降低核估计方差；核无偏不意味着取比值后的attention输出无偏。[8]

重排乘法；不显式构造L×L矩阵 [8]
Y^=diag⁡(Qf(Kf⊤1))−1Qf(Kf⊤V),time=O(Lmdv)\widehat Y=\operatorname{diag}(Q_f(K_f^\top\mathbf1))^{-1}Q_f(K_f^\top V),\qquad \mathrm{time}=O(Lmd_v)
因果递推，固定特征数m与value维度；附录B.1 [8]
St=St−1+ϕ(kt)vt⊤,zt=zt−1+ϕ(kt),y^t=ϕ(qt)⊤Stϕ(qt)⊤ztS_t=S_{t-1}+\phi(k_t)v_t^\top,\quad z_t=z_{t-1}+\phi(k_t),\qquad \widehat y_t={\phi(q_t)^\top S_t\over\phi(q_t)^\top z_t}

READ THE ORIGINALS

原始来源

  1. MuonGS: Pretraining LLMs with Relaxed Weight-Norm Control
  2. Scaling Laws for Tool-Use Agents via Controllable Environment Synthesis
  3. Sharpness-Aware Muon: Matrix-Aware Optimization with Momentum-Guided Perturbations
  4. LinMix: Data Mixing as Linear Domain Attribution
  5. Does LLM Pre-Training Typically Occur at the Edge of Stability?
  6. EnergyCal: Taming Loss Spikes in Muon-Family Optimizers for Sparse MoE Training
  7. Unlearnability in RLVR: What More Samples Reveal About Hard Tasks
  8. Performer · full text
  9. DBLP · ICLR 2021 record
检索窗口

2026-10-25 08:22 — 2026-10-28 08:22 · America/New_York

READ · THINK · DISCUSS

讨论与点赞

交流推导、补充文献，或推荐下一篇精读。

在下方直接评论、回复或点赞。首次参与需要 GitHub 登录授权；评论公开可见。

正在加载讨论区…

在 GitHub 打开讨论 ↗

← 返回日报归档