稳定项、精度与噪声

一个稳定项，改变 Muon 的渐近几何

设矩阵线性分类数据可分，损失为 logistic。固定有限 NS 次数、正稳定项，且步长足够小：原文定理 1 得到 Frobenius 最大间隔方向。下面取无动量情形。[1]

记 $P_K$ 为奇多项式 $p$ 的 K 次谱复合，$a_K=(p^{\circ K})^{\prime}(0)>0$。原文还要求 $p^{\circ K}(s)>0$（$0<s\le1$）；常用三次、五次多项式满足。小梯度时的关键不是 polar，而是局部线性化：[1]

下降性使梯度平方可求和，故相对 GD 的扰动也可求和；轨迹距离有界，继承同一个归一化极限。可取步长 $\eta\le4\varepsilon/(R^2u_K)$，其中 $R=\max_i\|X_i\|_F$、$u_K=\sup_{0<s\le1}p^{\circ K}(s)/s$。[1]

低精度误差，不能全换算成更少的 token

将前向、反向量化方案记为 $\psi_f,\psi_b$，参数量与 token 数为 $N,D$。原文经验律把有效容量、有效数据与持续优化误差分开：[2]

$N$ 不含 embedding 参数；$\rho_N,\rho_D$ 为有效规模因子，$\epsilon_f,\epsilon_b$ 为持续误差，$E$ 为不可约项。[2]

凸、可微损失与二阶矩有界的分析提供动机：前向舍入偏差和反向梯度偏差可以留下不消失项。固定方案并扩大模型、数据时，该拟合式趋向 $E+\epsilon_f+\epsilon_b$。[2]

Spork：先共享能力，再分工，再蒸馏

低成功率任务的 GRPO 信号稀疏；Spork 先在全数据做短 warmup，再训练分区专家，最后从原始基座初始化学生、合并专家。这里合并发生在学生自己生成的轨迹上。[38]

$D_i$ 为分区，$w$ 为抽样权重，$T_\tau$ 只数学生 token。实现用 top-k logits 近似，排除环境 token；首轮 warmup 为 40 步、每批 8 prompts × 8 rollouts。[38]

长程 RL：Muon 与异步配方

单 rollout、token 平均损失、截断重要性采样与长度/工具错误惩罚组成联合配方，在两个模型家族的仓库修复任务中比较优化器。摘要只支持整套配方训练成功率更高，不能把收益全归给 Muon。[8]

子空间 Muon 加回正交残差

PMRC 在投影动量上作 matrix sign，并把子空间外梯度加回更新；作者报告固定与刷新基底的收敛分析。摘要的速率未在此展开，避免省略其假设及指标。[9]

副本扩展取决于内层优化器

固定总预算增加 DiLoco 副本时，比较 Muon、AdamW 等内层更新；伪梯度协方差与 batch size 对噪声的影响是两个关键因素。白化类预条件器在 8–96 副本实验中表现较强；不等于通信成本消失。[10]

优化器隐式偏置也是隐私变量

连接 KKT 条件与训练样本重建，比较 SGD、Muon、Adam 在 MNIST/CIFAR-10 上的可重建性。Muon 的优势或泄漏程度依赖架构与训练区域；Adam 对所测攻击更稳健不构成普遍隐私保证。[11]

Compound p-values：整体有效，不必逐个有效

Zhimei Ren 等将大小不等、可共享负对照的竞争式检验连接到 compound p-values。Bonferroni 控制 FWER；BH 的 FDR 可能膨胀，论文给出界，不能把两者都写成无条件精确控制。[12]

空间关联轴到底估计什么？

Nancy R. Zhang 等研究 skrCCA 的总体目标、可识别性与稳定性。在给定位置、零均值模型下，目标是核加权交叉协方差；固定方向的零假设方差需块间独立，不是任意空间依赖下的通用保证。[13]

多智能体沟通：传概率还是传动作？

Aaron Roth 等比较传递动作与校准信念。合成模型与迷宫实验支持概率交流的优势，但有偏概率会消除收益；post-hoc conversational calibration 修正的是这一失配。[14]

L3M：可验证的 agent runtime

Dean Foster 等以 Lean 4 表述 runtime 与可核验不变量，并将可恢复状态放入 Git。摘要报告安全工具下的 Terminal-Bench 表现；尚未审计其形式化安全覆盖范围。稿面日期 9 月 30 日，本条仅记首次 arXiv 入库。[15]

Flow matching：更多采样步不自动等于更深推理

Kaifeng Lyu 等在输出满足正则条件的复杂度模型中，指出 vanilla flow sampler 可被常数轮并行评估模拟；self-conditioning 改变这一限制。结论需保留模型与正则假设，不推广为所有 diffusion 推理无效。[16]

Best-of-N 的胜负由奖励尾部决定

正确答案被采到还不够：选择器的高奖励尾部可能由错误答案主导。极值分析区分正确、错误与临界三种区域；高方差错误奖励可能随采样量增长而取胜，摘要未给普适安全阈值。[17]

Bigram 中，容量本身也能产生 scaling law

固定随机 embedding 与 Zipf token 统计形成可解析瓶颈，推导宽度、词表与 Zipf 指数决定的 regret。WikiText2/OpenWebText 用于检验；这是容量模型，不能冒充完整 Transformer 训练理论。[18]

跨输入规模泛化，可能付出指数样本代价

集合/图的跨规模学习中，多项式 source 衰减可对应域内多项式误差、跨规模仅对数误差；更强指数条件恢复多项式率。摘要称有匹配 minimax 下界；未逐项核对函数空间假设。[19]

多语言 MoE：语言覆盖也是预算轴

联合建模 active parameters、每语言 tokens、专家数与语言覆盖，并计入重复。64 个配置、26,300 个逐语言 loss 观测支持拟合；更多专家减轻语言扩张损失的比例只适用于论文的匹配条件。[20]

把 tokenizer 与生成模型的 FLOPs 一起算

生成式 representation learning 通过条件预测的信息差学习 tokenizer，并研究联合算力效率。摘要报告对 ImageNet/GPIC 的 tokenizer 外推收益；外推 FLOPs 比不能直接视为端到端实测加速。[21]

视觉数据收益不必表现为更低 text-only loss

用无内容 padding 替换图像 embedding 作控制；视觉内容提高 image-text 预测，收益随算力近似幂律增长，却未明显改变 text-only 最低 loss 与模型/数据最优平衡。收益依任务而异。[22]

重复小数据集，有时胜过更多唯一样本

在图像 self-distillation 中，唯一数据量与重复次数共同决定下游性能；修改 Chinchilla 型拟合式，但改进并不跨所有数据集成立。不能把“去重越多越好”当作无条件规律。[23]

廉价模拟数据的外推：无线电地图预测

128M 合成样本用于预训练 ResNet-101/Swin-T。2M–16M 拟合的幂律预测 32M–128M 下游归一化 RMSE；这是机器学习数据 scaling，模拟器失配仍是迁移边界。[24]

概念可传达性也有 scaling 曲线

通过优化消息与恢复发送者 prompt，研究模型能力增长时 1.2k 个概念的可传达性。部分概念的外推显示平台；这是相对发送/接收模型的观察性证据，不是人类语言的绝对上界。[25]

PGLA：用两两比较修正投票 logits

把答案间比较证据与票数放进 KL 正则目标，在 7 个模型、10 个推理基准上评估。摘要支持候选排序方法，尚未核对等推理预算下的完整比较。[26]

递归推理：改变更新映射，而非只加深/加宽

ICS 在相同 latent state 上搜索输入条件，诱导不同更新映射以逃离错误吸引子，不额外训练。摘要报告六个任务的 FLOPs 优势；不能将最大局部优势推广为统一 100 倍提速。[27]

SHELDON：假设空间与观测空间共同搜索

将新观测的发现与当前假设解绑，用无法解释的观测引导进一步搜索；在诊断、抽象推理与优化中比较。摘要未完整交代各对照推理预算，暂不横向排名。[28]

ARBITER：把代码选择与修订连接到反例

训练 agentic verifier 在 sandbox 中寻找可检验反例，为候选选择与迭代修订提供反馈。IOI 案例受官方提交次数限制；这是特定预算协议下的推理流程证据，不是普适 scaling exponent。[29]

COUNT：把容量移到主机 n-gram 计数

以离线 n-gram 计数组合模型已有 unembedding，不增加可学习参数。在固定算力的 1B 预训练中比较 loss，并允许换计数表作免训练域适配；需区分主机存储成本与 GPU 算力。[30]

LatentLoop：两次共享层访问不必平分预算

先压缩序列、再全分辨率访问共享 MoE，把节省算力分配到宽度。15 个 1.3B–7B 配置用于拟合；固定 NLL 的 19.0%/7.9% 节省是相对两个基线的预测值。[31]

负结果：更多 tokens 不替代训练市场的多样性

已知潜变量与 Bayes 预测器的合成限价订单簿中，容量与 token 数较早饱和，跨市场泛化主要取决于训练 regime 多样性。结论针对受控模拟族，不是所有金融 foundation model。[32]

数据过滤：区分挑好样本与改变数据混合

四臂等预算设计把 gate 效果分成同支持集内筛选、支持集间重分配及交互；有限样本池可能根本无法构造所需对照。检索实验支持部分筛选效应，未解决的分量不能当作零。[33]

Softmax 的几何：Hilbert 距离连接 RowNorm 与 Muon

线性输出的 RMS 变化不总能代表 softmax 分布变化。作者用 Hilbert 距离约束概率重分配，分别连接 LM head 的 RowNorm 近似与 query–key 的 Compositional Muon；这是一种统一解释，不是新大规模 benchmark。[34]

Diffusion LM 的“16 倍训练差距”依赖比较协议

约 1,700 个模型的研究同时调整似然评估、block diffusion 与 encoder–decoder 架构。摘要中倍率随 block size 变化：不能把更小 block 的训练收益与原先全并行解码收益直接相乘。[35]

记忆复用也受验证预算约束

将复用缓存视为 reasoning contraction；事实变更后，成功/失败计数可能滞后。作者在仅依靠每条记忆自身验证结果的条件下，以 certification load 与 Zipf 需求刻画安全跳过推理的 scaling；不是任意 agent memory 的无条件界。[36]

PDE 代理模型：数据生成算力也是预算

联合选择样本量与模拟精度；六类 PDE、四种代理架构、7,000 余次训练支持多保真配置。摘要的最高 6.3 倍节省仅指数据生成算力，不是完整训练流水线。[37]

GEM：序列长度、模型容量与系统效率共同扩展

报道更长行为序列的 scaling、稀疏 attention 与向下游模型传递结构化表示。文中端到端 MFU 为 20–25%；CompSkip 的 43% 是 FLOPs 降低。模型、精度、kernel 与并行共同改变，不能归因于单一算法。[39]