生成式奖励模型 · Rollout 一致性 · 精读 Mamba
两篇主读区分静态判断能力、在线训练收益与实现偏差；七条简讯补收重叠窗口内的算力、数据及模型研究。经典精读 Mamba：选择写入什么，以及如何并行计算。
延续 reward overoptimization（Gao 等，2022）的问题：在固定分布上判对故事偏好，不保证能指导变化中的 policy。原文在创意写作上比较 SFT Answer-Only 与 GRPO Thinking 两条 judge 训练管线。[1]
在线采样与 judge 的无效／冲突票过滤还会改变保留样本的分布。上式只是机制解释；原文未测出逐样本梯度贡献的分解。[1]
| 设置 | 观察 |
|---|---|
| Qwen3 judge 0.6B–14B；policy 0.6B–8B | Thinking 静态准确率更高 |
| 固定学习得的 32B Gold 评估器 | 8 个匹配设置中，Answer-Only 的 peak／top-five Elo 在 7 个更高 |
| 替换为另一 learned judge，80 对 | Answer-Only 胜 42 对；总体诊断不确定 |
只取博客中的训练方法部分：NVFP4 checkpoint 结合 veRL、FSDP2 与 LoRA，保持 base experts 冻结并同步 adapters。训练前核对权重传递、expert routing replay、同 token 的 logprob；权重相同仍可能有执行差异。[2]
每个 batch 仅做一次 optimizer step，直接用 rollout logprobs 作 old logprobs，省去一次重算 forward。此条件不能直接移植到多 epoch 重用或更严重 stale 的训练。[2]
| 设置／指标 | 起点 → 终点 |
|---|---|
| DAPO-Math-17K；16×GB300 | 200 GRPO steps |
| AIME-2024 accuracy | 36.3% → 67.5% |
| Train/rollout KL | 0.040 → 0.024 |
320B 总参数／15B 激活；预训练结合 Stable SplitNorm、Muon、μP，后段增加 coding mixture。作者强调 safe 与 optimal learning rate 间保留裕量；这不是隔离 Muon 因果收益的实验。[3]
动态语义分段，token prediction 更新 encoder，flow prior 以 stop-gradient 解耦。约 210B tokens 的实验检查设计与 scaling；346.03B source tokens 的未收敛模型在八任务平均 60.10。跨模型的 token 差异不是严格 compute-matched 优势。[4]
三类程序化控制抽象训练 Transformer，在未见机器人任务上出现非平凡零样本 action prediction。compute-matched 真实数据 baseline 只在其训练数据集上更强；这是数据来源与迁移比较，尚非普适的机器人 scaling law。[5]
1B-token 匹配实验：curated data 相比 raw web 提高四任务均值 3.51 分。5B-token 比较中，部分参数训练恢复 full CPT 的 94% 增益、耗时为 52%；均值 73.19 vs 73.58。恢复比例是相对 base 的局部增益，不是保留 94% 全部能力。[6]
冻结 semantic tokenizer，causal encoder 预测下一整帧 embedding，辅助 decoder 保留局部细节；报告模型与数据 scaling。EPIC-KITCHENS-100 anticipation 的 mean-class recall@5 比 V-JEPA 2.1 高 7.1 分；摘要未给严格预算匹配细节。[7]
94 个重建场景、94K demonstrations、46.5M observation-state-action samples。ACT 训练从 5 扩到 70 scenes，seen／unseen median success 分别 30.6%→41.2%、16.8%→29.4%；离线预测误差与闭环成功不能互换。[8]
以依赖 Python 包的隐藏下游效率评估多 agent 协作；三类世界、八模型、超过 10,000 agent-hours，最佳报告下游效率提高至多 31%。此处补充 Luke 作者跟踪记录；不能把这些旧有结论认定为 v2 新增发现。[9]
S4（2022）用固定线性系统压缩历史，线性注意力（2020）用有限状态累加。但语言里的“哪些 token 值得记住”依赖内容；Mamba（2024）让写入、读取与遗忘随输入变化。[10]
小 gate 保留状态并忽略当前输入，大 gate 重置到当前输入；该标量解释不是完整多 channel 网络的收敛定理。输入相关系数打破固定卷积，却保留仿射复合的结合律。[10]
于是可并行 prefix scan。原文再把离散化和递推融合到 SRAM，并在反向重算状态，避免向 HBM 写出完整 B×L×D×N 状态张量；选择机制与硬件实现共同支撑线性序列复杂度。[10]
READ THE ORIGINALS
2026-10-21 08:09 — 2026-10-24 08:09 · America/New_York
READ · THINK · DISCUSS
交流推导、补充文献，或推荐下一篇精读。
在下方直接评论、回复或点赞。首次参与需要 GitHub 登录授权；评论公开可见。
正在加载讨论区…