删去什么，保留什么

2N：不是简单留下最难的样本

Sorscher 等（2022）提出数据筛选可改变学习曲线。[3] 本文在高维高斯线性分类中研究其最优性：维数 $N$、样本数 $P$，生成、测试与筛选方向完全对齐；平方损失取无正则极限。[1]

原文将误分类率化为一个角度；保留比例须大于维样比。[1]

条件密度的上界给出方差下界，再对保留比例优化。这是原文附录 E 的关键链条：[1]

冻结权重，学习一张跨预算排序

固定目标剪枝通常为每个预算重做一次。本文只学习 MLP 神经元与 attention head 的全局分数 $z$，冻结骨干 $\theta$。$b$ 表示移除的 FLOPs 比例，$\kappa_b$ 是按成本累计得到的阈值。[2]

14 个目标（5%–70%），300 个 Adam 校准步；ViT-B 的 batch=32、默认 2,000 张不同图像。一次排序产生嵌套子网络，不等于无需优化。[2]

Indic：语料库存不等于训练预算

翻译→评分→修复→转写；75/100 是 rubric 门槛，不是正确率。2.8T tokens 包含同源语言／文字变体，修复回收的 438.4B 已计入总量。Nemotron CPT 仅用 10B 印度语言 tokens（自然＋合成）；阶段增益不能单独归因合成数据。本文补充昨日 Nemotron 条目的数据侧，语料仍注明待发布。[4]

Beam：小样本语言遵循，不是推理准确率

LoRA SFT 在 Multilingual-Thinking 训练一轮，16 个 held-out prompts 的指定语言遵循由 3/16→16/16；样本小且不评判推理正确性。GRPO 配方另用每步 32 prompts×8 responses、分组优势与截断重要性采样，无 KL／熵惩罚；配方可运行不等于已证实下游收益。[5]

Muse Spark：816B 的 attention-only LoRA 实验

冻结 experts，只适配四个 attention projections；64 H100、500 步、长度 2,048、packing，报告约2小时。训练 token accuracy 72%→84%、loss 1.26→0.57；这些是训练指标，不是 held-out 能力增益。[6]

Apertus：后训练会侵蚀长上下文能力

模型权重7月24日已发布，本轮收录新技术解读。五阶段为 SFT→长上下文 SFT→RL→DPO→SDPO；仅对无需思考无法解出的 prompt 加推理轨迹，工具数据限执行核验轨迹。长上下文 SFT 恢复短上下文 SFT 后退化的能力；未见各阶段独立因果消融。[7]

自改进：保护测试，而非只保存指令

技术综合提出分开评估目标、角色、记忆与行为策略；开发、接受与最终审计集合分离，且评测器不可由候选代理修改。LIP-Eval 是尚无 pilot 数据、未校准门槛的提案，不是已验证的稳定性保证。[8]

MirrorMoE：更多专家组合不保证被探索

共享专家降低表示变化，却与细粒度分割增大的路由空间冲突；按 token 抑制不必要专家以缩小探索空间。摘要报告跨模型尺度改善，未给可外推 scaling 指数。[9]

MPT：扩大推理时代理群体

同时学习动作与参与竞价，局部信用来自集体结果；更大推理群体改善表现且更耐代理 dropout。不能由此推断固定总 compute 下仍优于单体。[10]

Librarian Agents：预计算工作区的摊销

RL builder 在查询前将文档重组为合成文件／引用层级；作者报告相对最强基线 BrowseComp-Plus +33、BRIGHT +31 个准确率百分点。前置建库成本须由重复查询摊销，不是免费检索。[11]

Anvil：合成数据修复与首错蒸馏

5.8M 源文档落地记录／160K 图像，5.22M 用于训练；9B 学生按最早语义错误选择专长教师，逐阶段归一化。覆盖、选择性迁移与反馈修复均有控制实验；这是一项数据质量研究。[12]

Data World：先定义机制，再合成文件

从显式生成机制产生环境、任务与评分标准，再独立审计目标可恢复性；1,037 个世界产生2,135训练任务。避免把数据量增加与“任务确实可解”混为一谈；不是普适规模定律。[13]

MetaExp：跨任务结构也是数据设计

1,000 个任务族／4,956 轨迹：固定工具或潜在流程，改变具体任务，训练经验迁移；下游参数冻结。Domain-excluded 测试支持迁移，不等于无限自改进或环境数量的幂律。[14]

Density of Thought：代理指标会随训练方式翻转

六种模型尺度、两种训练范式、仅60道 GSM8K：信息密度方差与正确性的关系随尺度减弱、在 RL 蒸馏后翻转。直接 steering 的准确率60.0%→8.3%；小样本负结果不能当作普遍定律。[15]

GRADS：用依赖图控制合成任务难度

维护必需证据／推理图，避免靠无关上下文制造表面难度；独立 solver 验证难度分离。等训练预算下 SFT 终止率超过95%，工具调用／轮次至多减少75%；不是总体训练成本减少75%。[16]

AURA：用检索效用决定何时停止思考

中间 embedding 区分相关文档与难负例，另训轻量效用估计器。BRIGHT 上4B模型34.7 nDCG@10、平均2.8步／96 tokens；匹配部署条件下延迟4.6→0.76秒，限该检索协议。[17]

实验设计：把信息增益搜索摊销进策略

用独立于 LLM 自身信念的生成模型定义信息增益奖励；Twenty Questions 中训练推理／行动策略，比较训练及推理期 BED 成本。迁移到 Medi-Q 不构成临床有效性证据。[18]

SWE-Stream：分开数据质量和全量训练结果

80,874 个可执行任务、118,688 条成功轨迹。等训练预算 SWE-bench Verified 45.6%，全量训练69.0%，不是同一对照；1.45× 是被接受任务的构建吞吐量，非模型训练加速。[19]

KAN：好指数来自架构，还是目标函数？

对任意深度标准 spline-KAN，摘要给出 isotropic Sobolev ball 上系数需求随维数指数增长的最坏情形下界。低元组合结构可有好指数，但并非 KAN 独享；未读完整证明，不省略目标类与误差阈值。[20]

DropKV：kernel 提速不是端到端提速

将联合 eviction 近似为逐 token 分数，常数因子保证需要 cone condition。评分 kernel 19.8× 对应匹配 batch 下 prefill 至多9.9%加速；等 cache 预算改善 RULER／LongBench。[21]

短 drafter：维持长上下文下的加速曲线

冻结短上下文 drafter，限制其 attention cache 并重置 rotary 索引；三组模型、五语料测试到2M上下文。主张是加速比随长度保持平坦，不是固定倍数；仍要求每输出 token 的投机成本低于 target-only。[22]

Latent Compaction：压缩缓存也可以先训练

冻结模型，先拟合 full-cache attention 与归一化量，再端到端蒸馏文档 cache；不访问下游问题。摘要报告 RULER 32×压缩下96.7% vs KVZip+ 40.0%；压缩预算匹配不表示计入 test-time training 总成本。[23]

Player-1：合成环境覆盖与迁移

6,044 条示范初始化，16个合成2D／3D环境提供可核验奖励与随机控制动态；环境覆盖更广时迁移改善。9B、35B-A3B 相对各自 SFT 的 MineDojo-300 成功率增益为27.8、17.7个百分点，非等预算架构对比。[24]

多开发者：开发预算也是规模轴

GAIA 上单个专长代理不超过35%，组合达到70%，比开发预算数倍于每位专长开发者的通用单体中位数高12个百分点。不能忽略聚合开发成本与推理成本；理论激励模型未逐项核验。[25]

LeanGraphSearch：等反思轮数下的检索收益

沿 Mathlib 依赖传播相关性，再重排序；8／16／32反思轮数下比较证明 pass rate。检索成本仍需计入总预算；这是主题订阅，不归入 Wharton 作者动态。[26]

PTS：先筛变量，再挑样本

SuSiE 相关性知情筛选后，在低维空间运行 IBOSS；相关高斯与 biobank-scale 合成基因型实验报告近似全量预测表现及更低训练时间。属于样本／变量预算设计，不是生物领域同名 scaling law。[27]

PLES v3：版本差异待核实

9月1日首发，10月15日更新 v3。方法按单位实验成本的信息增益选择 scaling-law 实验；未核验版本差异，摘要的低于十分之一预算结论不标作本次新增结果。[28]

LLMSurgeon v2：反推数据混合的假设

5月28日首发，10月15日更新 v2。以 label shift 与校准 soft confusion matrix 反推预训练域混合；未核验版本差异。生成文本的域分布不能无条件等同训练分布。[29]