2026.10.21每日研究笔记约 22 分钟

步长、尺度与多目标前沿

MuPACE · 常步长 Muon · Pareto 前沿 · 精读 InstructGPT

三篇主读：学习 Muon 的全局步长、用 gain／length 判别常步长谱优化器、以及以固定置信度识别多目标 LLM 的 Pareto 前沿。另列 12 条 scaling、数据与 test-time compute 简讯；经典精读 InstructGPT 的 RLHF 目标。

MuonScaling lawsPost-trainingStatistical learning

每日精读 · 2022InstructGPT

主读 · 新稿已读 §3–5 与附录消融；未重跑 meta-training

MuPACE：方向交给 Muon，步长交给轨迹

MuPACE: Learning to Pace Muon for LoRA Fine-Tuning

Jan Kobiolka · Christian Frey · Josif Grabocka

首发 2026-10-20 07:52 EDT · v1；10月21日进入公开列表

归一化谱更新把方向与尺度拆开：Muon 近似给出 polar 方向，而学习率承担几乎全部长度控制。MuPACE 不学习新优化器，只让一个约 20K 参数的 LSTM 根据训练轨迹修正解析 schedule。[1]

Muon 决定矩阵方向，策略只输出全局标量 ηₜ

s_t=U_t\Sigma_tV_t^\top,\qquad d_t\approx U_tV_t^\top,\qquad \theta_{t+1}=\theta_t-\eta_t d_t

解析 schedule 的 RMS 归一化把 scale λ₁ 与 shape λ₂:₅ 分离；指数–tanh 将偏移限制在有界区间

\eta(x)=\lambda_1\frac{\lVert s_0\rVert_2}{\lVert s\rVert_2}s(x),\qquad \lambda_{i,t}=\lambda_i^0\exp\!\big(c_i\tanh h_{i,t}\big),\qquad x=t/T

深度外推沿用 Depth-μP；validation loss 只进入策略状态与 meta-objective，不为 LoRA 更新提供梯度

\eta_t\leftarrow\left(\frac{L_{\rm ref}}{L_d}\right)^{1/2}\eta_t,\qquad \min_\phi\;\mathbb E_{\mathcal T,\tau\sim\pi_\phi}\frac{1}{T-T_0}\sum_{t>T_0}\log \widetilde\ell_t^{\rm val}

比较	结果	预算含义
64 个 in-distribution 问题	胜过 cosine / WSD / constant 默认值：78% / 66% / 64%	MuPACE 1 次运行
相对逐任务 sweep	恢复调参收益中位数 80% / 83% / 78%	基线每任务多次试验
Qwen3-32B、Qwen3.8-27B	对 5-trial tuned baseline 的 test-loss 差距中位数 1.13–3.02%	1 次 vs 5 次；每模型 8 个任务

原文报告；loss 为各自 best-validation checkpoint 的 test loss。[1]

主读 · 新稿已读定理 1、3、Lemma 4 与数值实验；结论限于强凸矩阵二次型

常步长 Muon：决定收敛的是 gain 与 length

Constant Step Sizes for Muon-Type Spectral Optimizers on Strongly Convex Quadratics

Pratik Jawanpuria · Bhabatosh Garai · Bamdev Mishra

首发 2026-10-20 03:07 EDT · v1；10月21日进入公开列表

作者把非凸性、噪声与 schedule 暂时拿掉，只问固定步长的谱更新会不会到达最优点。若 G=UΣVᵀ，更新保留奇异向量、把 σᵢ 改为 gᵢ；核心统计量是 gain rᵢ=gᵢ/σᵢ 与更新长度。[2]

H≻0；这是可完全分析的矩阵二次模型，不是一般神经网络定理

f(X)=\tfrac12\operatorname{tr}[(X-X_\star)^\top H(X-X_\star)],\quad G_t=H(X_t-X_\star),\quad X_{t+1}=X_t-\alpha\Phi(G_t)

gain 控制局部放大；length 是否趋零决定能否在固定步长下真正停住

\Phi(G)=U\operatorname{diag}(g_i)V^\top=P(G)G,\qquad r_i=\frac{g_i}{\sigma_i},\qquad \lVert\Phi(G)\rVert_F=\Big(\sum_i g_i^2\Big)^{1/2}

区间	代表更新	原文结果
c≤rᵢ≤C	带 ε>0 归一化的有限步 NS	αλmaxC<2 时线性收敛；局部最优率不优于 GD
gain 无界，length→0	‖G‖* sign(G)	α tr(H)<2 时线性收敛
length 不消失	polar；ε=0 的当前范数归一化 NS	任意 α>0、几乎处处初始化不收敛

同一个 NS 多项式可因 normalization / scaling 不同而落入不同区间。[2]

原文定理 1；bounded-gain 情形

f(X_{t+1})\le\left[1-u(2-u)\frac{c\lambda_{\min}}{C\lambda_{\max}}\right]f(X_t),\qquad u=\alpha C\lambda_{\max}\in(0,2)

主读 · 指定作者新稿已读问题设定、定理 3.1–3.2 与真实 Arena 实验；未复现实验

不压成一个分数：固定置信度地找 LLM Pareto 前沿

Beyond Scalar Leaderboards: Adaptive Sampling for Pareto Frontier Identification in Multi-Objective LLM Arenas

Liang Twist Shan · Jiahao Ai · Zhimei Ren

首发 2026-10-19 20:50 EDT · v1；10月21日进入公开列表

若 math、code、writing 先被加权成单一 leaderboard，权重就替读者做了价值选择。VB-EGE 把每次人类比较视为 bandit query，目标是在置信度 1−δ 下识别严格 Pareto 前沿，而非最大化在线累计奖励。[3]

多目标 Bradley–Terry 模型；每次 query 只返回某一目标上的二元偏好

\Pr(Y_t=1\mid Q_t=(i,j,r))=\sigma(\theta_{i,r}-\theta_{j,r}),\qquad \mathcal P(\theta)=\{i:\nexists j,\ \theta_{i,r}<\theta_{j,r}\ \forall r\}

原文定理 3.1；要求全部分类 gap Δᵢ>0，κ_B 是 BT 链接在有界参数区间内的最小导数

\Pr\!\left(\widehat{\mathcal P}=\mathcal P(\theta),\ \tau\le dK+\frac{128d}{\kappa_B^2}\sum_{i=1}^K\frac{L_i^\theta(\delta)}{(\Delta_i^\theta)^2}\right)\ge1-\delta

原文定理 3.2：gap-separated 类上的 minimax 下界；与上界在 K、d、Δ⁻² 上仅差对数因子

Q_{B,d}(\Delta,\delta)\ge\frac{d(K-1)}{\Delta^2}\operatorname{kl}(1-2\delta,\delta)

简讯 · 新稿已读主实验与超参表；未重跑训练

DPO 超参不能只从小模型搬上去

The Shape of the DPO Hyperparameter Landscape: What to Measure, How It Moves with Scale, and When Not to Transfer It

Hannan Mahadik · David Salinas · Jacek Golebiowski · Aaron Klein

首发 2026-10-20 05:14 EDT · v1

Qwen3 0.6B–14B 的共同 3×3 网格显示跨尺度排名可为负相关；训练约 30% 时的下游排名相关仍为 0.63–0.90。validation loss 与最终下游最优配置弱相关，短 target-model run 比邻近尺度迁移更可靠。[4]

简讯 · 新稿已读 compute allocation 与 test-time scaling 章节；技术札记，不是统一新定理

Scaling law 技术札记：从几何近似到计算分配

Foundations of the Scaling Law

Tianyu Zhao · Zhixiang Ren

首发 2026-10-20 03:52 EDT · v1

札记串联几何近似、谱可见性、N–D 分配与 test-time coverage。对 L−L∞=AN^{-αN}+BD^{-αD}, C=κND，驻点给出 N*∝C^{αD/(αN+αD)}、D*∝C^{αN/(αN+αD)}；作者明确提醒，风险上界不能未经证明就当作精确 loss rate。[5]

简讯 · 新稿基于摘要；未核验完整证明

合成数据转移：Wasserstein 近也可能完全失灵

When Does Training on Synthetic Data Provably Work?

Leroy Odunlami · Tobias Riedlinger · Hanno Gottschalk

首发 2026-10-20 07:23 EDT · v1

在共享条件标签分布下，密度比受控可给有限样本 excess-error bound；若真实分布在合成支持集外有质量，足够丰富的分类器即使两分布 Wasserstein 很近也可在真实域接近最坏误差。Lipschitz 假设下，保证改由“真实样本落在合成数据可达域外”的概率控制。[6]

简讯 · 新稿已读 shrinkage、loss decomposition 与主实验

重复数据下，随机替词是在做 shrinkage

Benefit and Cost of Random-Token Replacement under Repeated Data

Wonsup Shin · Jingu Kim

首发 2026-10-19 23:57 EDT · v1

对一阶源，Q_c=α_cP_c+(1−α_c)π；替词把条件预测缩向 corpus marginal。已知熵率 H 时，作者分解 L_final=H+APPROX+EST+MEM，发现帮助主要来自压低过拟合后的 MEM，而非改善最小 validation loss。[7]

简讯 · 新稿基于摘要；未核验完整实验表

Test-time compute：继续改，还是重新采样？

Adaptive Replay Refinement: Allocating Test-Time Compute Between Revision and Resampling

Ahsan Bilal · Muhammad Ahmed Mohsin · Muhammad Umer · Ayesha Mohsin · Sarmad Bilal · Dean F. Hougen

首发 2026-10-20 10:41 EDT · v1

ARR 用 replay decoding 检测 revision fixed point，把释放的预算转给独立样本；7 个模型、7 个 benchmark 中，MATH500 报告 84.6% accuracy，仅用 majority voting 41% 的串行 passes。串行 passes 不是 FLOPs 或端到端时延。[8]

简讯 · 新稿基于摘要；未核验完整成本表

TEX：用 K×K 执行矩阵扩展测试代理

TEX: Test-Time Scaling Testing Agents via Execution-based Cross-Validation

Akash Gokul · Srijan Bansal · Yingbo Zhou · Semih Yavuz

首发 2026-10-19 17:06 EDT · v1

K 个代理并行生成 tests 与 patches，再交叉执行形成 K×K feedback。SWT-Bench Verified 报告 86.4%，随机选 TEX 输出也达 84.4%；这支持协作反馈改善候选质量，但 K² 执行成本需与其他 scaling 基线同口径比较。[9]

简讯 · 新稿基于摘要；未核验拟合系数与全部硬件设置

每 token 能耗由 active bytes 与实际 decode time 解释

The Token-Energy Law of LLM Decode

Chenxu Niu · Batuhan Sencer · Wei Zhang · Yong Chen

首发 2026-10-20 13:32 EDT · v1

论文把 dense weights 的共享读取、每请求 KV history 的私有读取与 realized time 放入仿射模型；BF16、三模型、Hopper/Blackwell 条件下，held-out condition-mean 能耗误差至多 3.73%。它是部署侧经验律，不是训练 loss scaling law。[10]

简讯 · 新稿基于摘要；未核验 11 种 reward 的逐预算表

让一个策略适应任意 test-time 预算

Rewards for Budget-Aware Multi-Turn Agents That Adapt to Arbitrary Test-Time Constraints

Tom A. Lamb · Adam Golinski · Eleonora Gualdoni · Sinead Williamson · Michael Kirchhof

首发 2026-10-20 11:49 EDT · v1

Qwen3.5 4B/9B 在 tokens、API calls、environment steps 等动态预算上训练；惩罚 overspend 可提升预算内成功率与自然合规，但 sigmoid 与固定负奖励分别偏向成功率和合规，显示 reward 选择本身定义了 Pareto 权衡。[11]

简讯 · 新稿基于摘要；未核验逐题统计检验

VLM 的子任务 inverse scaling

On the Limits of Scale: Inverse Scaling in Vision-Language Models

Rohit Saxena · Alessandro Suglia · Marek Rei · Pasquale Minervini

首发 2026-10-19 18:39 EDT · v1

19 个模型、4 个家族、8 个 benchmark 共 558,334 次 model-question 评估；作者找到 375 个 subtask–model-pair inverse-scaling 组合，13 个 subtask–dataset 对跨家族复现。总体均值随规模上升，不保证每个能力切片单调。[12]

简讯 · 新稿基于摘要；未核验完整 size-generalization 曲线

图推理扩展：把 adjacency 从 prompt 中拿出来

Scaling Graph Reasoning in Language Models with Learnable Graph Positional Encodings

Javier Porras-Valenzuela · Arush Arora · Alejandro Ribeiro

首发 2026-10-19 20:39 EDT · v1

GNN + Graph Transformer 生成 permutation-equivariant positional encoding 并调制 attention logits，使上下文负担从按边序列化降到 O(N)。只在小图训练，摘要报告可外推到 1,000 节点；这是结构性 size scaling，不是参数–数据幂律。[13]

简讯 · 新稿基于摘要；预注册研究，未核验全部轨迹

负结果：多代理协作没有通过 compute-matched 检验

Does Multi-Agent Collaboration Pay When Agents Serve Users?

Ethan Yang · Xiangcheng Shi

首发 2026-10-20 01:13 EDT · v1

τ²-bench 的约 7,950 段对话中，同模型 centralized MAS 在 13 个有效 cells 里 12 负 1 平；无限预算时最好也只在 5.5× token spend 下追平。作者同时披露 planner 未见 tool schema 的 validity bar，故结论应读作当前实现的强负证据，而非所有 MAS 的不可能定理。[14]

简讯 · 新稿基于摘要；未核验 matched-cost 细节

LaLa-World：用语言接口混合异构 world-model 数据

LaLa-World: Scaling Latent World Models with Natural Language Actions

Junha Song · Geonmo Gu · Jeongeun Park · Heejeong Nam · Lucas Maes · Byeongho Heo · Dongyoon Han · Sangdoo Yun

首发 2026-10-20 04:32 EDT · v1

把数值动作与视觉变化都表成语言，使一个 JEPA-style predictor 联训 simulation、robot、image 与 video 数据。摘要称 matched RAEv2 baseline 下 planning 相当、训练成本 1/6、planning 快 13.9×；这里的 scaling 指跨域数据组合，不是模型规模幂律。[15]

每日经典 · 历史论文已读 §3、§4 与训练附录；未复现人类评测

InstructGPT：偏好、KL 与 pretraining mix

Training Language Models to Follow Instructions with Human Feedback

Long Ouyang · Jeff Wu · Xu Jiang · et al.

首发 2022-03-04；本次读 v1 与 NeurIPS 2022 版本

NeurIPS 2022；ACM Digital Library 于 2026-10-21 显示 33,248 次引用 ↗

早期 RLHF 已用于 Atari／机器人（2017）与摘要生成（2020）；InstructGPT 把 SFT→reward model→PPO 推到广泛 instruction-following 分布。关键不是“人类反馈”四字，而是偏好比较如何变成标量 reward，以及怎样限制 policy 离开有监督区域。这是历史论文，不是今日新稿。[16][17]

Bradley–Terry 型 pairwise loss；reward 只由差值识别，因此训练后另做平移归一化

\mathcal L_{\rm RM}(\theta)=-\mathbb E_{(x,y_w,y_l)}\log\sigma\!\left(r_\theta(x,y_w)-r_\theta(x,y_l)\right)

论文的 PPO-ptx 目标：KL 限制策略偏移，pretraining likelihood 项直接锚定原始能力分布

\max_\phi\ \mathbb E_{x,y\sim\pi_\phi}\!\left[r_\theta(x,y)-\beta\log\frac{\pi_\phi(y\mid x)}{\pi_{\rm SFT}(y\mid x)}\right]+\gamma\,\mathbb E_{x\sim D_{\rm pre}}\log\pi_\phi(x)

简化推导：忽略 γ、把序列视为单步 bandit 时，KL-regularized 最优策略是 reference 的指数倾斜；不是论文对神经网络 PPO 的收敛定理

\pi^*(y\mid x)\propto\pi_{\rm SFT}(y\mid x)\exp\!\left(\frac{r_\theta(x,y)}{\beta}\right)

证据	原文结果	不能推出
API prompt 人评	1.3B PPO-ptx 优于 175B GPT-3；175B InstructGPT 对 175B GPT-3 胜率 85±3%	参数缩小 100× 可保持所有能力
public NLP	PPO 有 alignment tax；加入 pretraining gradients 后多项回退减轻	KL 越大越好
训练成本	175B SFT 4.9、PPO-ptx 60、GPT-3 pretraining 3640 PF-days	数据收集与全套实验成本可忽略

均为论文所用分布、模型与 2022 年评测；胜率口径不是今天的通用聊天能力。[16]

READ THE ORIGINALS

原始来源

检索窗口

2026-10-18 08:13 — 2026-10-21 08:13 · America/New_York

READ · THINK · DISCUSS

讨论与点赞

交流推导、补充文献，或推荐下一篇精读。

在下方直接评论、回复或点赞。首次参与需要 GitHub 登录授权；评论公开可见。

正在加载讨论区…

在 GitHub 打开讨论 ↗

← 返回日报归档