预算、截断与迁移

MAI-Base-2：缩小模型时，也要缩小独立数据

将小规模实验外推到长训练，重复次数不能悄悄改变。记活跃参数为 $N$、训练 token 为 $D$、独立 token 为 $U$；报告固定 TPP 与各数据源重复率。下式是单一数据源的说明性重写：[1]

令 $s$ 为训练步数、$\eta$ 为学习率、$\lambda$ 为 weight decay。作者在对数超参数坐标拟合二次曲面，报告的经验最优律为：[1]

最终模型 2.8T 总参数／80B 活跃参数，训练 50T tokens。Muon 采用动量重分片、批量 all-to-all 与专用 Newton–Schulz kernel，优化器步骤占平均迭代 2.1%（165 ms）。[1]

Muon 赢在哪一条预算轴上？

单卡 A100：17.7M／33.6M LM 在 FineWeb-Edu 子集训练 5,000 步（20.48M 已处理 tokens）；2.70M ViT 在平衡／100:1 长尾 CIFAR-100 训练 100 epochs。每种策略先用单开发种子搜索 23 个配置，再用 5 个配对种子比较。[2]

STOPD：无偏的是总和，不一定是更新

On-policy distillation 让教师评估学生自己的轨迹；长回复贵在后缀。STOPD 随机按块截断，再用逆概率权重保留每个位置的监督。最大长度 $L$、块宽 $K$、完整长度 $T_i$、截点 $S_i$，记逐 token 梯度为 $h_{it}$：[3]

截点须独立；截断不能改变同前缀的生成与教师反馈。令完整 token 数 $N=\sum_iT_i$，滞后归一化量 $C$ 来自前一步：[3]

Muon 也有对应优化器系数，但比较固定同一参数与历史状态，不证明两条完整训练轨迹等价。Qwen3-1.7B←4B 数学任务中，AdamW 每步 941→513 秒，250 步准确率 30.1→29.4；时间包含生成、教师评分与更新。换 Muon 的对应每步成本为 1,029→542 秒。[3]

Muon 的最优性：径向分布与 minimax 不是同一问题

研究凸、非降径向目标下的矩阵几何：固定无原子径向分布时，精确 polar 最优性很苛刻；对径向分布做最坏情形优化可恢复 polar 方向。结论依赖满列秩等假设，不是一般非凸训练收敛保证。[4]

Hassani：用模型分歧决定是否升级

以弱／强模型的回答分歧近似最优路由，无需正确性标签；强模型越接近真实分布，近似越准确。强模型是代理而非真值。[5]

深线性网络的 depth/width 压缩律

在可交换类别结构的深线性模型中，用 feature kernel 表达 neural collapse；大宽度下累积压缩由 $L/N$ 控制。不能直接当作非线性网络的普适幂律。[6]

集成有两个样本量

固定模型／答案数、margin 指数 $\beta$，buffered ERM 的 clean excess risk 上界为 $\widetilde O(Q^{-1/2}+N^{-\beta/2})$：$Q$ 是标注题数，$N$ 是每模型每题生成数。二模型二答案子模型还存在 $N^{-\beta}$ 识别下限。[7]

TIPS：学习何时揭开、何时重新遮住 token

600K 控制器冻结 LLaDA-8B，学习 unmask/remask。32 次 decoder evaluations 下，两种变体在 GSM8K／MATH-500 的 micro-average 为 58.46%／57.97%；控制器另有 SFT／RL 训练成本。[8]

EMO：上下文优化与 logits steering 交替

外部 judge 改写上下文，再用前后上下文的 logits 差做受限 steering。目标 KL 的单轮下降依赖上下文改善与 faithful-steering 假设；匹配目标模型生成预算不自动匹配 judge 总成本。[9]

Byte patch 的预算应花在何处

约 11% 相同 patch 率、3 seeds、1M／12M／50M BLT 式模型比较 entropy 与 novelty 分块。数学文本收益明显，散文／代码收益变小；不能仅用局部 surprisal 解释算力价值。[10]

LEASH：升级模型后仍需监督

用弱模型成功／失败轨迹的 hidden-state 距离控制升级，并在强模型运行后继续观察。OSWorld 同升级率优于随机路由；报告的成本节约只针对给定 backbone／价格与任务设置。[11]

把“继续想”写成三个动作

比较返回当前答案、返回 fallback、继续展开；置信度按动作分别校准。相对固定策略在线 compute 降约 30%／16%，但相对 fitted Q 的 utility 改善小且不一致。[12]

挑选对额外算力有响应的数据

优先训练短推理失败、增加预算后成功的样本。Qwen3-8B 的 512–4,096 token 前沿优于匹配非 CR 数据；45.3% 是低算力失败的恢复率，不是整体准确率。[13]

搜索算力增长为何需要遗忘

四类自动研究任务中，历史会造成搜索锚定；定期清空 session／候选历史、保留最佳解再启动，在同预算下改善结果。这不是“所有记忆都有害”。[14]

LoC：检索正确之后的视觉预算

SciEGQA 已知正确页面上，视觉 tokens 从 1K 增至 32K 提高 15.22 个准确率百分点；固定 16K 时真值 crop 再提高 3.75 点。前者是读图预算效应，后者是 oracle 诊断，不是检索改进。[15]

NPO：将推理搜索摊销进训练

冻结少步生成器，训练初始噪声上的 flow policy 逼近 reward-tilted 分布；将搜索移到训练。摘要的 16–549× 是推理成本对比，不能视为训练加推理总成本节约。[16]

DMS：分开锐化路径和答案

先温和锐化推理路径，再聚合并锐化答案边缘；annealed SMC 缓解粒子路径塌缩。基模型更可能的答案未必更正确，方法不引入外部真值。[17]

Priming：先重建，再做分布训练

两阶段单步生成：固定噪声重建预训练，再 feature-space 分布后训练。ImageNet 256 的 FID 1.19、约十分之一训练 compute 是作者相对可比 FID 方法的报告，不是独立复现。[18]

AFCS：合成数据的单位从段落变成事实

同一 FineWiki 来源，先提取／核验原子事实再生成；在 OLMo-3-7B 与 32B continued pretraining 比较事实、段落、chunk、实体粒度。属于数据质量研究，未给普适 scaling 指数。[19]

RLVR：进展和崩溃有不同的时钟

局部二次模型中，平方根学习率缩放保留每样本一阶 drift，却不保留曲率修正后的进展；崩溃样本数不变则来自另一个 drift-threshold 假说。16× batch 实验支持，但两者不是同一个定理。[20]

SCRouter：模型与 token 预算联合选择

分别预测 utility、security 和预算内完成概率，再按任务加权分配模型／tokens。38,869 个问题、12 模型×12 预算；不要把任务条件下的安全偏好压成单一“质量”。[21]

Manacá：数据混合的非单调性与 DPO 负结果

安全 SFT 中一般数据占比扫 10%–60%，过度拒绝并非单调，拐点约 40%–50%；三次 DPO 尝试均报告负结果。训练 reward margin 上升不保证自由生成改善。结论限 PT-BR 模型与所测协议。[22]

Flow matching：耦合 minibatch 也是资源轴

在线 entropic OT 近似支持更大的源／目标耦合；原文声称完整随机梯度方差与积分误差相对独立配对严格降低，并随 coupling batch 增大改善。未读证明，不能省略其条件。[23]

蛋白语言模型的低算力前沿

ProtModernBERT 在控制预训练与 cluster-based 验证下比较架构、数据和参数量；部分任务接近 Amplify-120M／ProtBert，预训练 FLOPs 低至其 10%–20%。这是模型训练效率，不是生物尺度规律。[24]

FedStop：多训练一个 epoch 的边际价值

将联邦本地训练视为有限期最优停止：下一 epoch 的期望 loss 降低大于定价后的漂移成本才继续。单步前瞻最优需要停止决策嵌套；闭式解分别讨论几何与幂律收益。[25]

Nemotron：多教师 on-policy 蒸馏与量化

技术部分介绍两阶段视觉／语言 SFT、多教师对学生 rollout 的反馈，以及 NVFP4 quantization-aware distillation。多个组件同时变化，博客未提供隔离 MOPD 的因果消融；不将客户案例的预期降本数字当研究结论。[26]

Kakade：从模型平均到 replay-free 持续学习

对比 v1／v2 摘要：标题由 Soup to go 改为 Forget About It，新增 Lookahead 与 Qwen3-14B adapter 持续学习描述。周期参数插值不需要历史样本 replay；36.3% 是所测任务训练时间上限改善，不是普适加速。[27]

Cai／Long／Su：混合文本中的水印定位

作者注明更新实验与补充材料；具体版本差异尚未逐项核实。当前摘要把 token 定位写成多重检验，区分检测、发现与分类边界；不把既有边界当作本次新定理。[28]