Score-SDE:相同边缘,不同路径
NCSN(2019)用多噪声层的 score,DDPM(2020)学习离散去噪链;Score-SDE 将二者放进连续时间框架。问题是:能否从同一个 score 同时构造随机采样与确定性流?这是历史论文,不是今日新稿。[60][61]
一半系数来自概率守恒,而不是删掉噪声:把 Fokker–Planck 方程改写成连续性方程。[60]
Polar Switch · 循环深度 · 表格数据扩展 · 精读 Score-SDE
三篇主读:极分解电路、前向/反向计算预算、数据扩展下的分布偏移。另列31条新稿/技术博客简讯,以及25篇差异未核实的版本记录;均保留首发日期。经典精读 Score-SDE,推导概率流中 1/2 的来源。
Muon 的代价不只在多项式次数,也在怎样复用矩阵乘法。对归一化矩阵 X,Polar Switch 搜索有限缓冲区中的多项式电路;标量谱变换对应同一组奇多项式。[1]
| 方法 | FLOPs / n³ | 最终奇异值区间 |
|---|---|---|
| Polar Express | 15α + 5 | [0.858872, 1.141128] |
| PS2-55 | 6α + 10 | [0.872263, 1.106236] |
| PS3-55 | 6α + 10 | [0.898309, 1.080954] |
令 T 为前向循环数,B≤T 为反传循环数。592次训练、58–919M非嵌入参数的实验,把重复计算折算成有效参数量;N_once / N_rec 是非循环/循环部分参数数。[2]
| 参数 / tokens | (T,B)=(8,2) loss | (4,4) loss |
|---|---|---|
| 60M / 17.2B | 2.5211 | 2.4933 |
| 240M / 17.2B | 2.2778 | 2.2642 |
在8个真实表格任务中,训练样本扩展至千万级;评估包含随机划分与时间/群体偏移。误差按数据集 d、方法 m 分解为可下降项与平台项:[3]
| 任务 | 各方法独立指数 R² | 共享指数 R² |
|---|---|---|
| Cooking | 0.9938 | 0.9931 |
| Jane Street | 0.9312 | 0.9024 |
按同分布验证集调参,可能随训练数据增加而让分布外表现恶化;代表部署分布的验证集能在 MLP 实验中缓解该现象。PFN 上下文中加入分布外样本并不总能解决问题。[3]
用 t-SVD 与变换域算子推广 Muon;51M–1.3B 预训练中,优选的张量组织随模型而变,不能把一种变换的优势视为普适。 [4]
用结构化梯度协方差联系 Adam、Shampoo、Muon,提出 MN-Muon;小 GPT 对照优于 Muon,但中等规模最佳配置与 NorMuon 相近或略逊。 [5]
把梯度裁剪与正交化放在一起分析;语言模型实验中最优优化器仍依赖 batch size。摘要不能支持无条件收敛率或全面优于 DP-Adam 的说法。 [6]
在100M图文对上从头训练;控制实验中,额外纯文本预训练未改善文生图。跨模型算力比含不同训练路线,不是同模型严格消融。 [7]
用约10k小时人类视频与3k小时机器人经验训练跨具身世界模型,报告两类数据扩展的正向收益;这不等于已核验幂律指数。 [8]
在固定交互预算和18个操控任务中,用模型能力代理与早期反馈预测自改进进展;观测关系不构成某个扩展轴的因果效应。 [9]
把最终作答提示计入共享预算;两个 checkpoint 各100道新 GSM8K 题上,正确率升8/7个百分点,但实际槽位节约不足1%。 [10]
同时计入 prompt 与 completion,在线分配候选生成、评判和停止;24个配置中22个最好。该结论限于所比较策略和预算格点。 [11]
固定相关文档、增加干扰文档,检验检索方法排名与存储/检索粒度的变化;这是语料规模效应,不是模型参数 scaling。 [12]
构建2.83T tokens、22种语言的资源,比较合成/自然文本和英语混合的持续预训练;配比收益需要连同语言与评测分布解读。 [13]
用 Chopthin 与保留机制减轻扩散语言解码中的谱系坍缩;oracle 覆盖提高,最终准确率改善11/12项。ESS 重置不能单独证明多样性恢复。 [14]
4B代码模型、150M-token预算下逐步扩大 top-k;优于固定 k=10,但接近最佳固定 k=20,单次测试结果相同。不能据此宣称普遍优于固定策略。 [15]
以小型决策模型读取截断轨迹,在预算下评估35种模型组合;成本收益是留出集上的离线估计,不能直接等同在线部署节省。 [16]
把递归状态限制在球面,并按固定点残差决定计算深度;摘要提及有条件稳定性,未读完整假设,故不转述为无条件收敛。 [17]
匹配算力下,课程学习改善隐式长程推理,但前瞻跨度呈饱和趋势;扩大训练并未消除所测任务中的能力上限。 [18]
把 GPU 负载与能耗纳入推理预算控制,联合权衡准确率、时延和吞吐;同一 token 预算不意味着相同系统成本。 [19]
通过潜变量噪声更新保持搜索多样性,对确定性 flow matching 做 test-time scaling;不要把它误述成直接把原 ODE 改成反向扩散 SDE。 [20]
用冻结决策模型的 yes 分数驱动搜索;128个谜题完整解出数从2到30。15倍来自低基数,不能替代绝对成功率。 [21]
用注意力定位视觉自回归生成的局部候选,按预算做组合对齐;目标类别的相对增益不应写成整体图像质量提升。 [22]
用几何感知候选修正与置信门控扩展测试时计算,无需额外训练;摘要不足以核对不同方法的严格同预算优势。 [23]
通过少量位置在并行流间混合状态,提高语言建模表现;loss 收益与事实检索收益并不一致,不应混为一种 scaling 效果。 [24]
用在线信号检验减少推理长度;Ville 型界控制的是相应零假设下的信号误报,不是最终答案错误率。 [25]
去中心化梯度、移除主方向并加门控,按目标任务选推理数据;证据是不同预算与模型规模的实验,而非通用最优混合定理。 [26]
20个模型、6个基准按释义采样区分“至少能答对”与“稳定答对”;平均分提高不能直接说明所有问题的可靠性一起提高。 [27]
以共享末层递归和多步训练目标增加有效深度,比较预算内的预测收益;不能把参数共享直接换算为端到端成本节约。 [28]
蛋白质语言模型中的数据过滤效应随模型规模变化,但后续微调可能削弱其持久性;只记录规模与数据分布结论,不展开操作性细节。 [29]
小组样本拟合的信噪模型可外推较大组的梯度对齐;筛掉部分轨迹后,打包实现训练耗时约降40%,但 rollout 生成保持不变。 [30]
155M唯一参数、2T训练 tokens,与350M基线比较;自适应门控进一步降低期望深度,但精度折衷随任务而变。只收测试时计算扩展结论。 [31]
高斯代理模型给出有限样本风险:增加学生样本不自动消除教师偏差,固定表示的收益存在样本量阈值。结论需保留代理模型假设。 [32]
8种剪枝方法、3个 VLM、9个基准显示,同 token 数对应不同端到端成本;在共同能力保留目标下,方法的提速排名会变化。 [33]
0.4B模型经 SFT 在100题工具测试中得到74分。加长链 ToolMind 数据的实验降至49分;较强 on-policy 蒸馏虽得75分,却降低意大利语指令与学术指标,未进入最终版本。作者还记录过度拒答及配比调整;小测试集、未公开合成数据与未充分重复的消融限制泛化判断。 [34]
表内主题说明用于定位论文,不表示该结论在此次版本中新出现。前三期已读的 SLDBench、ICS 与 self-orchestration 不重复计入新闻。
| 论文 / 来源 | 作者 | 首发 / 当前版本 | 定位 |
|---|---|---|---|
| Vision-language models see more about agriculture than they report, and test-time scaling remains bounded by parametric knowledge [35] | Earl Ranario · Jared Smith · Lars Lundqvist · Urmil Jatin Chandarana · Bharath Sridhar · J Mason Earles | 首发 2026-09-08 16:15 / v3 2026-10-19 13:56 EDT | 农业 VLM 的受限测试时预算 |
| ISO: An RLVR-Native Optimization Stack [36] | Hanqing Zhu · Wenyan Cong · Zhizhou Sha · Sagnik Mukherjee · Xinyuan Song · David González-Martínez · Xiaoxia Wu · Yuandong Tian · Shiwei Liu · David Z. Pan · Zhangyang "Atlas" Wang | 首发 2026-07-21 13:51 / v2 2026-10-19 13:46 EDT | ISO:与 Muon 几何有关的 RLVR 优化 |
| Test-Time Augmentation for LLMs: Where to Inject Diversity at Inference Time [37] | Nikita Kozodoi · Zainab Afolabi · Jack Butler | 首发 2026-08-10 05:31 / v2 2026-10-19 09:05 EDT | 测试时增广与推理多样性 |
| Open-sci-ref-0.02: open reference baselines for reproducible language model and dataset comparison [38] | Marianna Nezhurina · Harsh Raj · Victor May · Jörg Franke · Taishi Nakamura · Timur Carstensen · Niccolò Ajroldi · Ville Komulainen · David Salinas · Jenia Jitsev | 首发 2025-09-10 17:13 / v4 2026-10-19 07:25 EDT | 多模型、多数据集的开放扩展基线 |
| Bayesian Preference Learning for Test-Time Steerable Reward Models [39] | Jiwoo Hong · Shao Tang · Zhipeng Wang | 首发 2026-02-09 10:55 / v3 2026-10-19 03:59 EDT | 偏好奖励模型中的示例数扩展 |
| Power Distribution Bridges Sampling, Self-Reward RL, and Self-Distillation [40] | Akiyoshi Tomihari · Issei Sato | 首发 2026-05-06 02:42 / v2 2026-10-19 01:50 EDT | power sampling 与蒸馏的推理成本 |
| VISTA: Test-Time Compositional Alignment for Visual Autoregressive Generation [41] | Hossein Shahabadi · Niki Sepasian · Mahdieh Soleymani Baghshah | 首发 2026-08-23 13:46 / v2 2026-10-19 01:47 EDT | 视觉自回归模型的测试时搜索 |
| DiMOS: Doob-Guided Inference-Time Multi-Objective Search for Scientific Design [42] | Ziqing Wang · Qijie Zhu · Weimin Wu · Zeqi Ye · Minshuo Chen · Han Liu · Kaize Ding | 首发 2026-10-05 01:01 / v2 2026-10-19 00:58 EDT | 科学设计中的搜索预算 |
| Selection, Recombination, or a Fresh Solve? A Candidate-Free Control for Single-Pass Test-Time Aggregation [43] | Guiv Farmanfarmaian | 首发 2026-08-18 19:17 / v2 2026-10-18 23:10 EDT | 候选聚合需与重新独立求解比较 |
| Recursive Environment Scaling for General Long-Horizon Agents [44] | Lingxiao Jing · Zhengbo Jiao · Yichen Xiang · Bofan Zhu · Lingbei Meng · Yan Ni · Haorui Chen · Ran Ran · Zhirong Shen · Yuheng Yang · Chenhang Cui · Yaosong Du · Rui Huang | 首发 2026-10-12 04:39 / v2 2026-10-18 21:14 EDT | 递归环境合成与匹配轨迹预算 |
| Compute Allocation in Bilinear Contrastive Representation Learning via Scaling Laws [45] | Ziyan Chen · Zhongzhu Zhou · Ding-Xuan Zhou | 首发 2026-06-25 01:20 / v3 2026-10-18 19:35 EDT | 双线性对比学习的模型/数据扩展 |
| Linear RNN Scaling Laws: When Longer Sequences Beat More Sequences [46] | Ziyan Chen · Zhongzhu Zhou · Linhe Zheng · Peilin Liu · Ding-Xuan Zhou | 首发 2026-08-23 09:37 / v2 2026-10-18 19:32 EDT | 线性 RNN 的序列长度与参数扩展 |
| Escaping Reasoning Basin Collapse with History-Biased Search [47] | Lu Cheng | 首发 2026-09-01 01:15 / v3 2026-10-18 16:34 EDT | BASIN:搜索预算与多样性 |
| On the Role of Batch Size in Stochastic Conditional Gradient Methods [48] | Rustem Islamov · Roman Machacek · Aurelien Lucchi · Antonio Silveti-Falls · Eduard Gorbunov · Volkan Cevher | 首发 2026-03-22 08:23 / v2 2026-10-18 12:38 EDT | 固定 token 预算下的 batch-size 区间 |
| Loop-$μ$P: Residual Scaling and Hyperparameter Transfer in Looped Transformers [49] | Shaowen Wang · Bingrui Li · Tansheng Zhu · Ge Zhang · Wenhao Huang · Shen Yan · Jian Li | 首发 2026-06-16 18:39 / v3 2026-10-18 10:14 EDT | LoopμP:循环模型的尺度参数化 |
| Test-Time Compute Games [50] | Ander Artola Velasco · Dimitrios Rontogiannis · Stratis Tsirtsis · Manuel Gomez-Rodriguez | 首发 2026-01-29 10:18 / v3 2026-10-18 00:59 EDT | 博弈中的测试时计算 |
| Chopthin-Consensus Power Sampling: A Diversity-Preserving Approach to LLM Decoding [51] | Minoo Ahmadi · Seyedarmin Azizi · Erfan Baghaei Potraghloo · Mehdi Kamal · Massoud Pedram | 首发 2026-09-10 18:02 / v2 2026-10-17 23:19 EDT | Chopthin、共识与 power sampling |
| OccSim: Multi-kilometer Simulation with Long-horizon Occupancy World Models [52] | Tianran Liu · Shengwen Zhao · Mozhgan Pourkeshavarz · Weican Li · Nicholas Rhinehart | 首发 2026-03-30 14:13 / v2 2026-10-17 16:45 EDT | OccSim:合成数据量扩展 |
| The Dichotomy Between Pattern Recognition and Step-by-Step Reasoning [53] | Amrut Nadgir · Vijay Balasubramanian · Pratik Chaudhari | 首发 2026-10-06 18:36 / v2 2026-10-17 16:14 EDT | 模式识别与逐步推理的样本扩展 |
| Stochastic Optimization Under Power-Law Spectra: Tight Bounds and Shuffling Analysis [54] | Christopher De Sa · Thomas Dybdahl Ahle · Yaroslav Bulatov · Christopher Ré | 首发 2026-09-28 17:01 / v2 2026-10-17 11:43 EDT | 随机优化与幂律谱 |
| SignMuon: Communication-Efficient Distributed Muon Optimization [55] | Neel Mishra · Jichao Jiang · Kushagara Trivedi · HanQin Cai · Aritra Dutta · Pawan Kumar | 首发 2026-05-04 09:29 / v2 2026-10-17 09:29 EDT | SignMuon |
| Benchmarking the Limits of In-Context Reinforcement Learning for Ad-Hoc Teamwork [56] | Yuheng Jing · Kai Li · Ziwen Zhang · Jiajun Zhang · Zeyao Ma · Jiaxi Yang · Lei Zhang · Zhe Wu · Jinmin He · Junliang Xing · Jian Cheng | 首发 2026-05-23 02:39 / v3 2026-10-19 02:05 EDT | 更长历史不必改善 in-context RL |
| Learning Self-Orchestration in Decentralized Agent Swarms [57] | Guowei Xu · Zhenting Qi · Amani Kiruga · Himabindu Lakkaraju · Yilun Du | 首发 2026-10-15 13:51 / v2 2026-10-19 11:18 EDT | 10-17已收录;仅提示 v2 |
| Input-Conditioned Search for Efficient Test-Time Scaling of Recursive Reasoners [58] | Haochen Shi · Tianwen Fu · Qianggang Ding · Yinhan Lu · Yizhan Li · Huan Zhang · Yajie Zhao · Xingdi Yuan · Hengyang Lu · Bang Liu | 首发 2026-10-13 11:25 / v2 2026-10-18 01:13 EDT | 10-15已收录;仅提示 v2 |
| SLDBench v2: Active Scaling Law Discovery [59] | Lingbei Meng · Rui Huang · Zhirong Shen · Jinxin Liu · Lingxiao Jing · Haorui Chen · Yaosong Du · Haowei Lin | 首发 2026-10-12 03:23 / v2 2026-10-17 08:40 EDT | 10-14已收录;仅提示 arXiv v2 |
NCSN(2019)用多噪声层的 score,DDPM(2020)学习离散去噪链;Score-SDE 将二者放进连续时间框架。问题是:能否从同一个 score 同时构造随机采样与确定性流?这是历史论文,不是今日新稿。[60][61]
一半系数来自概率守恒,而不是删掉噪声:把 Fokker–Planck 方程改写成连续性方程。[60]
READ THE ORIGINALS
2026-10-17 08:11 — 2026-10-20 08:11 · America/New_York
READ · THINK · DISCUSS
交流推导、补充文献,或推荐下一篇精读。
在下方直接评论、回复或点赞。首次参与需要 GitHub 登录授权;评论公开可见。
正在加载讨论区…