ZHZixun Huang
科研日报 / Research DigestNo. 010
每日研究笔记约 22 分钟

误差的形状，教师的优势

PolarGD · AOPD · 安全探针 scaling · 精读 GD 的最大间隔偏置

三篇主读连接谱几何、蒸馏信号与标签预算；11 条简讯覆盖推理分配、数据选择和技术博客。经典精读从 logistic regression 出发，推导 GD 的最大间隔方向。

MuonScaling lawsPost-trainingDeep learning theory
每日精读 · 2018GD max-margin bias
主读 · Muon 新稿已读 §2–4、定理 1／3、有限 NS 与 90M 模型实验；未复现

精确 polar：快慢由误差谱决定

A Quadratic Lens on Muon's Polar Update: Benefits, Pitfalls, and the Role of Newton-Schulz
Egor Shulgin · Sam Laing · Antonio Orvieto · Peter Richtárik
首发 2026-10-21 14:01 EDT · v1；10月23日列表

在矩阵二次型上用精确线搜索比较方向，排除学习率尺度的干扰。这里分析的是无 momentum 的 PolarGD。[1]

固定左侧 Hessian；满行秩是下列等式的条件
f(E)=12tr⁡(E⊤HE),G=HE,E=X−X⋆,H≻0,E∈Rd×m,rank⁡(E)=d≤mf(E)=\tfrac12\operatorname{tr}(E^\top HE),\quad G=HE,\quad E=X-X^\star,\quad H\succ0,\quad E\in\mathbb R^{d\times m},\quad \operatorname{rank}(E)=d\le m
原文定理 3；核范数决定一步下降
Q=polar⁡(HE),E+=E−∥HE∥∗tr⁡HQ,f(E+)f(E)=1−p(E),p(E)=∥HE∥∗2tr⁡(H)tr⁡(HEE⊤)Q=\operatorname{polar}(HE),\quad E^+=E-\frac{\|HE\|_*}{\operatorname{tr}H}Q,\quad \frac{f(E^+)}{f(E)}=1-p(E),\quad p(E)=\frac{\|HE\|_*^2}{\operatorname{tr}(H)\operatorname{tr}(HEE^\top)}
原文命题 2；预条件器的条件数由误差矩阵决定
A=(HEE⊤H)−1/2H,Q=AE,A⊤A=(EE⊤)−1,κ(A)=κ(E)A=(HEE^\top H)^{-1/2}H,\quad Q=AE,\quad A^\top A=(EE^\top)^{-1},\quad \kappa(A)=\kappa(E)

若 EEᵀ=cI，则 p(E)=1，一步到达最优点；即使 H=I，接近秩亏的误差也可让 PolarGD 远慢于 GD。有限 NS 对很小奇异值近似线性放大，避免直接抬到 1。[1]

证据设置／观察
二次型反例H=I、d=10、初始奇异值 1 与 10⁻⁴；精确 polar 首步后 loss 比率 0.64，GD 一步完成
真实谱诊断90M Transformer、1.8B tokens；attention momentum 矩阵约 1/4 奇异值处于五步 NS 的线性区
后者只说明该谱区间存在，未验证少做 NS 的端到端训练收益。[1]
主读 · Wharton 作者新稿已读 §3、引理 3.1、外部教师实验与表 1

AOPD：教师喜欢的 token，不一定帮得上学生

When to Follow the Teacher: Advantage-Based On-Policy Distillation
Mahdi Sabbaghi · George Pappas · Hamed Hassani · Adel Javanmard
首发 2026-10-22 13:05 EDT · v1

令 S 为冻结的学生 rollout policy，T 为教师，R 为终局 reward，H 为轨迹长度。Qˢ 是选 a 后继续用学生生成的期望 reward；Vˢ 对学生动作取平均。教师监督按学生优势加权：[2]

省略与 θ 无关的固定轨迹长度常数
AS(h,a)=QS(h,a)−VS(h),J(θ)=Eh∼dS∑aT(a∣h)AS(h,a)log⁡Sθ(a∣h)A^S(h,a)=Q^S(h,a)-V^S(h),\qquad J(\theta)=\mathbb E_{h\sim d_S}\sum_a T(a\mid h)A^S(h,a)\log S_\theta(a\mid h)

不必为每个教师动作另开 continuation。原文用学生轨迹与独立于该轨迹的 baseline b（如 leave-one-out 均值）估计整个目标：[2]

原文式 3.6；T>0 ⇒ S>0 时无偏，S、T、历史分布均冻结
J^=R−bH∑t=0H−1[T(at∣ht)S(at∣ht)log⁡Sθ(at∣ht)−∑aT(a∣ht)log⁡Sθ(a∣ht)]\widehat J=\frac{R-b}{H}\sum_{t=0}^{H-1}\left[\frac{T(a_t\mid h_t)}{S(a_t\mid h_t)}\log S_\theta(a_t\mid h_t)-\sum_aT(a\mid h_t)\log S_\theta(a\mid h_t)\right]
Qwen3-1.7B 学生OPD–FKLAOPD
AIME24 pass@132.1%35.0%
HumanEval+ pass@166.5%68.9%
数学／代码分别训练 450／350 iterations；教师为 Qwen3-4B-Instruct／8B；两种蒸馏均 G=4。[2]
主读 · Scaling 新稿已读 §3–5、拟合形式与附录 B 的限制

安全探针：先估误差下界，再决定加模型还是加标签

Scaling Laws for Safety Probes
Yuchen Wu (University of Washington) · Jerry Wei (Anthropic)
首发 2026-10-21 23:43 EDT（arXiv 日期10月22日）· v1

探针从固定模型的 activation 判断安全属性；扩大被监测模型和增加标签是不同预算轴。作者构建六组较难数据，避免既有小数据上的饱和。[3]

原文经验拟合；N 以十亿参数计，D 是标签数；CC++ 取 g=1，last-token probe 拟合 g
E=1−AUROC,E∞(N)=AN−α,E(N,D)=E∞(N)+(0.5−E∞(N))BgBg+(DN)gE=1-\mathrm{AUROC},\qquad E_\infty(N)=AN^{-\alpha},\qquad E(N,D)=E_\infty(N)+\bigl(0.5-E_\infty(N)\bigr)\frac{B^g}{B^g+(D\sqrt N)^g}
D₀ 为从 chance 到 floor 的半程标签数；第二式是对原拟合式的代数反解
D0=BN,Dtarget=BN(0.5−E∞(N)Etarget−E∞(N)−1)1/g,E∞(N)<Etarget<0.5D_0=\frac B{\sqrt N},\qquad D_{\rm target}=\frac B{\sqrt N}\left(\frac{0.5-E_\infty(N)}{E_{\rm target}-E_\infty(N)}-1\right)^{1/g},\qquad E_\infty(N)<E_{\rm target}<0.5
验证范围结果
20 个 base models／五个 family；32–10⁶ labels拟合常数按 family／任务／probe 重估
由小模型预测下一个尺度72% 情况的误差预测偏差 ≤0.02
45 个合格预算选择案例以 N×D 代理成本，73% 选对较便宜方案
预算案例要求两种方案都能达标，且实测成本至少相差两倍。[3]
简讯基于原始摘要

Thought pruning：直接优化候选池至少成功一次的概率

Direct Pass@k Optimization for Thought Pruning: Balancing Quality and Diversity in Test-Time Reasoning
Mahdi Salmani · Adel Javanmard · Devansh Gupta · Meisam Razaviyayn
首发10月22日 13:59 EDT · v1

给短 reasoning prefixes 分配后续预算时，直接最大化 pass@k，让质量与去冗余进入同一目标。八个 open-weight 模型上优于质量或多样性启发式，保留中等数量候选时收益更明显；摘要未给预算匹配的数值。[4]

简讯基于原始摘要

R²D：重复 remask–denoise 也能扩展推理计算

Random Remasking Scales Masked Diffusion Inference
Zhaoyi Zhou · Frank Wu · Andrea Zanette
首发10月22日 01:15 EDT · v1

把 masked diffusion 改写成 clean-sequence 空间的 Markov 链；纯推理 R²D 与额外训练 TCT 要区分。逻辑任务上报告近 log-linear scaling、Sudoku >97% 与 3-SAT >99%；不能把这些结果全归于免训练 R²D。[5]

简讯基于原始摘要

Dataweights：小目标集学权重规则，再迁移到大模型

High-Value Training Data from Noisy, Diverse Sources
Hedi Driss · Evan Frick · Anastasios N. Angelopoulos · Cho-Jui Hsieh · Yejin Huh · Tijana Zrnic · Andrew Ilyas
首发10月21日 16:32 EDT · v1

用小而高质量的目标集，通过训练过程的 metagradient 学样本权重；参数化规则可作用于新样本、流式数据和更大模型。以 reward modeling 验证人类／合成监督混合；摘要未证明跨尺度权重普遍可迁移。[6]

简讯基于原始摘要

子集最优性难验证，改控制相对全数据训练的偏差

Towards Faithful Data Selection: Statistical Limits and Scalable Algorithms
Ahmed Mehdi Inane · Mahdi Haghifam · Gintare Karolina Dziugaite · Ioannis Mitliagkas
首发10月21日 16:51 EDT · v1

原文指出总体风险最优的子集选择需要阶数上更大的 validation set；转而在 ULA 训练模型下，用累计梯度差异控制子集／全数据参数分布的 KL。Swap search 每次接受都减小该界；这不是每次都改善真实泛化误差。[7]

简讯基于原始摘要

宽度×深度：可交换的训练极限有 clipping 条件

Width and Depth Limits Commute During Training
Ruijia Zhang · Soufiane Hayou
首发10月22日 00:56 EDT · v1

线性 ResNet、Depth-μP 的 1/√depth 分支尺度与 μP 宽度参数化下，任意固定 GD 步数、有梯度 clipping 时，各联合增长路径给相同 L² 极限；去掉 clipping 只证明依概率收敛，不能推广成长时间非线性网络定理。[8]

简讯基于原始摘要

图搜索的 scaling wall，可能来自监督与 tokenization

Multi-Token Prediction and Alternative Tokenization Improve Learning Latent Multi-Hop Graph Search at Scale
Arvid Frydenlund · FuTe Wong · Katherine Lambert · Frank Rudzicz
首发10月22日 11:35 EDT · v1

在未见图上生成最短路时，MTP 与替代 tokenization 分别缓解两类障碍；作者报告可学图尺度突破既有上限。该结果针对受控 latent graph-search 任务，不是自然语言推理的通用 scaling law。[9]

简讯基于原始摘要

合成源匹配一个谱统计量，不足以预测迁移

Is spectral predictability enough? Testing Omega-matching for synthetic pretraining under distribution shift
Edric Castel C. Hao · Juan Raphael S. Seña · Neon S. De Jesus
首发10月22日 02:27 EDT · v1

LSTM／PatchTST／TCN、三 seeds：ETTm1 上，匹配 Ω 的 sine+noise 预训练平均 MSE 改善 2.3%，匹配 Ω 的 chaotic ODE 源反而恶化 13.2%。这是源选择的负结果，不是“合成预训练无效”。[10]

简讯基于原始摘要

分配推理模型前，把预测器与自信度比较

Predictable performance is suboptimal, and what it means for model routing
Guanhua Zhang · Moritz Hardt
首发10月22日 11:27 EDT · v1

外部 predictor 若胜过模型对所选答案的自信度，其 log-loss 优势可通过 recalibration 转化为模型改进。16 模型、四 benchmark 中，finetuning 后预测与级联相对自信度的收益缩小；需把 predictor 增加的容量一起计入。[11]

简讯已读原始博客的训练、任务选择与评估段落

ThinkingBox：重复成功增加，至少成功一次的覆盖略降

Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox
Tuhin Kundu · Microsoft and Hugging Face collaborators
博客首发10月22日

Qwen3.8-27B 在独立训练池做 50 GRPO steps；507 个 benchmark 任务各测 20 次。pass@1 从 51.70% 到 60.78%，观察到的 20/20 成功任务 38→107，但 pass@20 89.35%→87.97%。20/20 是有限次观测，不是部署成功率的下界。[12]

简讯已读原始博客方法与 token accounting；旧论文不计新稿

JOLT：把教师也训练成学生能跟上的教师

A Good Self-Teacher Meets the Student Where They Are: Joint On-Policy Learning and Teaching
Randy Ardywibowo · Arnav Dalal · Jiantao Jiao
新博客10月21日；论文 arXiv:2610.10447 v1 首发10月7日

共享模型以 privileged teacher 和无特权 student 两种上下文联合训练；teacher 用 outcome reward 加朝向学生的 KL，JOLT+ 再给学生 reward。MATH 63.44% 目标下，原文比较 GRPO 实测 8.40M processed tokens 与 JOLT 拟合 1.30M；6.5× 是 token 预算比较，未等同 wall-clock 提速。[13]

简讯已读博客实验设置、更新日志与成本讨论

OPAL：训练过程中改写 Muon／AdamW 配方

Reactive Optimizers
Xingjian Bai · Jia-Hao Liang · Jayden Teoh · Vincent Sitzmann
页面 datePublished／dateModified 均为10月21日

agent 根据训练统计改写参数组更新代码，包括切换 Muon、调 momentum 与 loss-spike guard。跨语言 NanoGPT 与 diffusion 实验比较单次运行可用的静态配方；RAEv2-B FID 3.39→3.19。额外 agent token 和决策成本必须计入，不是统一算力优势。[14]

每日经典 · 历史工作已读设定、定理 3 与证明提纲及退化样本说明；未把多分类结论用于本文

不加正则，GD 为什么仍走向最大间隔？

The Implicit Bias of Gradient Descent on Separable Data
Daniel Soudry · Elad Hoffer · Mor Shpigel Nacson · Suriya Gunasekar · Nathan Srebro
首发2017-10-27；JMLR 2018；本轮读 arXiv v7（2024-10-26）的二分类部分
JMLR 2018 · 隐式偏置的重要历史工作 ↗

硬间隔 SVM 显式选小范数；可分 logistic regression 却没有有限极小点。Soudry 等（2018）把两者连接起来：GD 的范数发散，方向仍有选择。[15][16]

有限、线性可分、齐次线性预测器；X 的列为 xᵢ，loss 求和，logistic 的 β=1/4
L(w)=∑i=1nlog⁡(1+e−yiw⊤xi),wt+1=wt−η∇L(wt),yi∈{−1,1},0<η<8∥X∥22\mathcal L(w)=\sum_{i=1}^n\log(1+e^{-y_iw^\top x_i}),\quad w_{t+1}=w_t-\eta\nabla\mathcal L(w_t),\quad y_i\in\{-1,1\},\quad 0<\eta<\frac{8}{\|X\|_2^2}
最大间隔方向；原文定理的目标
w^=arg⁡min⁡w12∥w∥22s.t.yiw⊤xi≥1  ∀i\widehat w=\arg\min_w\tfrac12\|w\|_2^2\quad\text{s.t.}\quad y_iw^\top x_i\ge1\ \ \forall i

以下是原文的渐近直觉，并非收敛证明：假设方向 u 已存在，指数尾使较大 margin 样本的梯度相对消失，只剩支持向量。[15]

logistic 导数的指数尾；比值仅表示固定方向上的主导性
−∇L(w)∼∑ie−yiw⊤xiyixi,e−g yiu⊤xie−g yju⊤xj→0ifyiu⊤xi>yju⊤xj,g→∞-\nabla\mathcal L(w)\sim\sum_i e^{-y_iw^\top x_i}y_ix_i,\qquad \frac{e^{-g\,y_i u^\top x_i}}{e^{-g\,y_j u^\top x_j}}\to0\quad\text{if}\quad y_i u^\top x_i>y_j u^\top x_j,\quad g\to\infty
留下的非负组合恰好对应 SVM 的 KKT 结构；仍须证明方向确实收敛
w^=∑iαiyixi,αi≥0,αi(yiw^⊤xi−1)=0\widehat w=\sum_i\alpha_i y_ix_i,\quad \alpha_i\ge0,\quad \alpha_i(y_i\widehat w^\top x_i-1)=0
原文定理 3；一般残差至多 log log t，几乎所有数据集上残差有界
wt=w^log⁡t+ρt,∥ρt∥=O(log⁡log⁡t),∥wt∥wt∥−w^∥w^∥∥=O ⁣(log⁡log⁡tlog⁡t)w_t=\widehat w\log t+\rho_t,\quad \|\rho_t\|=O(\log\log t),\quad \left\|\frac{w_t}{\|w_t\|}-\frac{\widehat w}{\|\widehat w\|}\right\|=O\!\left(\frac{\log\log t}{\log t}\right)

READ THE ORIGINALS

原始来源

  1. PolarGD：二次型、定理 1／3 与有限 NS
  2. AOPD：§3、引理 3.1 与实验表 1
  3. 安全探针：§3–5、附录 B 的证据边界
  4. Thought pruning 原始摘要
  5. R²D 原始摘要
  6. Dataweights 原始摘要
  7. Faithful data selection 原始摘要
  8. 宽深极限原始摘要
  9. MTP 图搜索原始摘要
  10. 谱匹配合成预训练原始摘要
  11. 模型路由原始摘要
  12. ThinkingBox：原始技术博客与评估表
  13. JOLT：10月21日原始研究博客（论文首发10月7日）
  14. OPAL：原始技术博客，页面元数据首发10月21日
  15. 经典旧文：二分类设定、定理 3 与证明提纲
  16. JMLR 2018 正式论文记录；入选历史工作依据
检索窗口

2026-10-20 08:13 — 2026-10-23 08:13 · America/New_York

READ · THINK · DISCUSS

讨论与点赞

交流推导、补充文献，或推荐下一篇精读。

在下方直接评论、回复或点赞。首次参与需要 GitHub 登录授权；评论公开可见。

正在加载讨论区…

在 GitHub 打开讨论 ↗

← 返回日报归档