数据×学习率 · Muon 初始化 · 图检验 · 精读 Kaplan scaling laws
三篇主读关注联合日程、初始化几何与图统计量的矩条件；14 条简讯补入 Muon、扩展规律和后训练博客。经典精读回到 Kaplan scaling laws，分清数据、模型、步数与并行预算。
令 γ(t) 为 batch 中高价值 mid-training（MT）数据的比例，η(t) 为学习率。固定总算力和 MT token 数，只改投放时序：更早混入 MT 的优势，会在学习率由衰减改成常数时反转。[1]
原文以共享／MT 专属／PT 专属的块对角二次型及加性梯度噪声作解释。以下抽出一个 MT 专属方向：曲率 λ>0、初值 z₀、噪声方差 ν，h 为离散步间隔。[1]
常数 η 下，用满预算就固定了 R(0)；把 MT 放在末尾使每个 R(s) 最大，因此方差最小。衰减 η 下，把 MT 前移又可增大 R(0)，于是出现偏差–方差权衡。[1]
| 设置 | 固定预算 | 原文观察 |
|---|---|---|
| Dense 630M | 200B PT 后继续 20.97B tokens；MT 10%／25%／47.75% | 全程衰减偏好较早混合；常数 LR 偏好末段纯 MT |
| 2.99B MoE | 40B PT 后继续 4B 或 10B tokens | 同样出现日程排名反转 |
| 19 组 LR-duration 扫描 | 每次固定数据日程 | 最佳测试值均在 MT 进入后才开始衰减 |
研究对象是随机初始化上的 E[GGᵀ]。作者借此解释 Muon 预条件器为何可能与已知 Hessian 行块结构相容；这不是直接估计 Hessian 数值。[2]
最干净的例子是 W∈Rᵈˣᵏ、G=(WWᵀ−M)W，M⪰0 固定，Wᵢⱼ 独立 N(0,1)。用 Wishart 三阶矩可得到原文精确等式：[2]
| 模型 | 期望结构／阶数 |
|---|---|
| 深线性网络隐藏层 | E[GᵢGᵢᵀ] 精确为标量 I |
| 两层 ReLU | 两层的平均对角／非对角比均为 Θ(width) |
| 单层线性 attention | Q、K、V 的期望 Gram 精确为标量 I；O 有目标相关项 |
图两样本检验先在合并样本上建相似性图，再数跨组边；在 Poissonized null 下，条件于点的位置，组标签独立 Bernoulli(p)。固定标签比例与平衡标签比例，可能需要不同的正态校准条件。[3]
| 标签比例 | Uₙ⇒N(0,1) 的等价矩条件 |
|---|---|
| p≠1/2 且 p≠(1±1/√3)/2 | E[Uₙ³]→0，或 E[Uₙ⁴]→3 |
| p=(1±1/√3)/2 | E[Uₙ³]→0；四阶矩条件失去识别力 |
| p=1/2 | E[Uₙ⁴]→3；仅三阶矩不够 |
反例可用星图理解：条件于中心顶点，边数的大样本极限只剩一个 Bernoulli 随机量。下面是对原文星图例子的简化推导。[3]
HyM 混合线性加权的长历史与快速 momentum；HyMUON 再做 NS。LLaMA-1.3B/C4、10k steps 的 validation loss 为 2.777 vs 2.903；HyMUON 调参且评估 averaged iterate，Muon 沿用既有选择并评估 training iterate，需注意对照差异。v2 备注为作者顺序／单位更新，未确认新增研究结果。[4]
用 kinetic map 包装更新方向，包括 Muon。约化模型的两周期线性稳定性取决于 step 对 momentum 的 log–log 斜率是否落在 (0,1)。正文提醒 ResNet-18 上不少收益可由有效学习率匹配复现；不能只比较默认 LR。 [5]
五个模型尺度、100 余种预算组合拟合 additive power law；Constant-Last4 平均常数 LR 轨迹最近四个 checkpoint，监测一条可延长的训练曲线。1.22B 模型约 100B LCCP tokens 范围未见明确饱和；不能外推为无限延长始终有益。 [6]
将执行配置分解成因子空间，用均衡 factorial coverage 选紧凑训练子集，并组织同任务下受控变化。作者报告向未见 white-box 配置及外部 black-box harness 泛化；摘要没有给出通用幂律指数。 [7]
固定每语言算力，沿三轴扩展，在 83 种语言、五任务评估。容量缓解多语种干扰；新增语言／文字系统主要利好对应区域，对未见文字系统的迁移未随进一步扩展持续提高。 [8]
120 组配置覆盖 0.8B–27B、50–1600 小时、五种数据混合。多样性改善近域迁移，远域收益有限；单世界训练时更大模型甚至在远域泛化更差。作者区分早期 interface phase 与后期 world phase。 [9]
BBQ 上比较 Qwen3、Gemma-3、SmolLM2 的尺度与量化。更大模型准确率提高，但 bias 没有简单 scaling 趋势；26 组较少 biased responses 的配置中，20 组同时增加 over-abstention。 [10]
BRA 固定失败状态和修订协议做 factorial 干预：六模型，194 个函数级与 126 个仓库级失败。任务规格持续有益，额外计算的价值随模型能力下降；四个 frontier 模型中三个几乎总选 feedback，收益却低于随机资源选择。 [11]
受控 Markov 模型中，Tₛ<1 的递归采样使次主特征值逼近单位圆、谱隙变小；即使累积旧数据也未停止该漂移。另用 T_d>1 自采样 loss 正则化，5000 代谱测量及 LSTM/GPT-2 124M 实验支持缓解作用，尚非一般 LLM 保证。 [12]
历史任务证据、成功率不确定性及相关 reward 模型共同预测 mixed-reward group，再分配 rollout。三个 Qwen3-VL 尺度上以更少新 rollout 超过对照峰值；历史 bank 的收集单独计费，不能把新 rollout 减少等同总训练成本同比减少。 [13]
一段 LoCoMo 会话、152 问题、每格一次运行，比较 memory 方法及三个模型尺度。设计式 memory 的收益受 writer 能力限制；部分 agent 优势来自独占图片描述，去掉该不对称后 Pi 与 full context 在 88 问上只差一题。 [14]
被 flag 的轨迹只更新 FORGET；未 flag 的轨迹可更新 RETAIN 与 FORGET，另在 anchor 环境只训练 RETAIN。部署时移除 FORGET。Qwen3-8B/Countdown-Code 中 hack rate 近零、正确率比 base 高近 20pp；仅手工监测器、单轮 RL，anchor 环境可构造性仍是限制。 [15]
按 SFT→蒸馏→单轮 RL→有状态环境→完整 harness 组织。核心差别是监督从 token 概率变成轨迹 outcome，瓶颈从训练转向长 episode 生成；给出 TRL/OpenEnv/AsyncGRPO 对应代码与资料入口。 [16]
同一 GPT-4.1 从 train trajectories 抽取规则，冻结后附在 held-out test 的 system prompt，不更新权重。τ²-bench retail Pass^4=67.5%，定义为四次均成功；这不是 pass@4。比较的榜单快照是10月12日，且更长规则会增加 tokens。 [17]
2017 年 Transformer 与 2019 年 GPT-2 之后，一个资源分配问题变得清楚：应该训练更大的模型，还是把小模型训得更久？本文将 WebText2 的 token cross-entropy 与 N（非 embedding 参数）、D（数据 tokens）、S（更新步数）、B（每步 tokens）联系起来。[18]
| 类型 | N 指数 | B 指数 | Sₘᵢₙ 指数 |
|---|---|---|---|
| 直接经验配置 | 0.73 | 0.24 | 0.03 |
| 联合模型推导 | 约0.71 | 约0.26 | 约0.07 |
READ THE ORIGINALS
2026-10-19 11:15 — 2026-10-22 11:15 · America/New_York
READ · THINK · DISCUSS
交流推导、补充文献，或推荐下一篇精读。
在下方直接评论、回复或点赞。首次参与需要 GitHub 登录授权；评论公开可见。
正在加载讨论区…