ZHZixun Huang
科研日报 / Research DigestNo. 016
每日研究笔记约 14 分钟

预测配比，辨认收益

Meta Models · 数据筛选的收益边界 · 精读LoRA

重叠窗口补收两篇主读、两条简讯及三条版本观察：用历史训练记录预测新实验，区分数据配比的加速与最终收益。经典精读LoRA及其因子化梯度。

Scaling lawsData mixingPost-training
每日精读 · 2022LoRA
主读已读正文相关方法与实验；未复现

把配比实验当作数值回归

Meta Models: Models that Model Learning
Peihang Li · Ziming Liu
首发2026-10-27 · v1 · 重叠窗口补收

从Kaplan（2020）、Chinchilla（2022）的参数化scaling曲线出发，本文把配置q、进度t和历史loss组成表格，交给冻结的TabPFN预测。配比也是配置的一部分。[1]

原文预测对象；上下文更新不等于权重训练 [1]
R={(qi,tij,Lij)}i,j,L^(q,t)=fθ(q,t∣R)\mathcal R=\{(q_i,t_{ij},L_{ij})\}_{i,j},\qquad \widehat L(q,t)=f_\theta(q,t\mid\mathcal R)
评估设计TabPFN对照
Delphi：3,737次训练，24组整组留出；平均Spearman ρ0.967XGBoost 0.875

五域配比逐个留出时，四种模型规模的MAE比最佳受测参数化law约低20%–40%；双域和部分RedPajama配置反而由参数化law占优。[1]

主读已读正文相关方法与实验；未复现

更快达到，还是最终更好？

Advancement or Acceleration? How Data Curation Improves LLM Training
Jiaxing Wang · Zicheng Zhang · Deping Xiang · Jin Xu · Yong Li · Chao Liu · Pengzhang Liu · Qixia Jiang
首发2026-10-27 · v1 · 重叠窗口补收

本文以teacher–student感知机分析大样本预算，再用LLM实验区分两种收益。若总体训练目标等于目标分布损失，且基线已全局最优，重新配比不可能突破该最优值；有限预算仍可能加速。[2]

总体无偏移情形的最优性逻辑；不是非凸训练保证 [2]
θ0∈arg⁡min⁡θLtar(θ)⟹Ltar(θ(w))≥Ltar(θ0)\theta_0\in\arg\min_\theta L_{\rm tar}(\theta)\quad\Longrightarrow\quad L_{\rm tar}(\theta(w))\ge L_{\rm tar}(\theta_0)
原文域级诊断；training loss在已见样本上测量 [2]
Δ=∑k∣w^kLtark(θ0)−wkLtraink(θ0)∣\Delta=\sum_k\left|\widehat w_k L^k_{\rm tar}(\theta_0)-w_k L^k_{\rm train}(\theta_0)\right|
160M GPT / SlimPajama；40K步，5次重复Uniform PPLTANDEM PPL
近无gap：Δ=0.0719.7119.66
限制数据：Δ=0.6428.6026.02
留出CC目标：Δ=1.2649.1940.24
简讯基于摘要

小数据的来源与多样性

Specialization, Diversity, and Scaling in Child-Scale Language Models
Steven Y. Feng · Michael C. Frank
首发2026-10-27 · v1 · 重叠窗口补收

基于摘要：小GPT-2使用BabyView家庭录音转写及TinyDialogues合成对话，改变数量、来源与儿童环境多样性。多儿童输入改善混合留出语言预测，但语法benchmark未见同样清晰收益；不能用单一loss替代所有能力。[3]

简讯基于摘要

Grokking的有效临界指数

Scaling and Renormalization in Neural Networks: An Effective Renormalization-Group Description of Grokking
Min Chen · Junqi Wang · Zeguan Wu · Wenhao Huang · Junyu Liu
首发2026-10-26 · v1 · 重叠窗口补收

基于摘要：在两层网络模加任务中，以逐神经元范数的loss二阶展开构造耦合矩阵，再用Fiedler排序与粗粒化拟合临界指数。属于ML泛化转变的scaling研究；不是模型、数据、算力预算的通用power law。[4]

版本观察基于摘要及版本元数据；差异未核实

Exact Unlearning of Finetuning Data via Model Merging at Scale

Exact Unlearning of Finetuning Data via Model Merging at Scale
Kevin Kuo · Amrith Setlur · Kartik Srinivas · Aditi Raghunathan · Virginia Smith
首发2025-04-06；2026-10-27 · 2版

Aditi Raghunathan作者订阅：v2已发布；基于当前摘要，SIFT-Masks结合全局符号约束与局部mask做模型合并和精确遗忘。尚未核对v1→v2内容差异，当前结论不视为本次新结果。[7]

版本观察基于摘要及版本元数据；差异未核实

Momentum in large-batch training: Polyak enlarges the critical batch size, Nesterov improves data efficiency

Momentum in large-batch training: Polyak enlarges the critical batch size, Nesterov improves data efficiency
Jia-Nan Wang · Zixun Huang · Kairui Li · Zilin Wang · Lei Wu
首发2026-09-02；2026-10-27 · 3版

Lei Wu作者订阅兼scaling主题：v3已发布；当前Comments注明修订证明、增加神经网络实验。尚未逐项比较v2→v3，不能确定这些增补全部发生在v3；不重报旧的critical-batch结论。[8]

版本观察基于摘要及版本元数据；差异未核实

Scaling Reasoning Efficiently via Relaxed On-Policy Distillation

Scaling Reasoning Efficiently via Relaxed On-Policy Distillation
Jongwoo Ko · Sara Abdali · Young Jin Kim · Tianyi Chen · Pashmina Cameron
首发2026-03-11；2026-10-27 · 2版

v2已发布，当前摘要称REOPOLD调节教师反馈作用的token位置、强度和阶段，并延伸到test-time scaling。尚未核对版本差异；不将摘要中的样本效率上限当作此次新增的结论。[9]

历史经典已读参数化、初始化与秩实验；梯度式为解释性推导，非原文定理

低秩约束也改变了优化路径

LoRA: Low-Rank Adaptation of Large Language Models
Edward J. Hu · Yelong Shen · Phillip Wallis · Zeyuan Allen-Zhu · Yuanzhi Li · Shean Wang · Lu Wang · Weizhu Chen
首发2021-06-17；读v2（2021-10-16）§4、§7与附录秩实验
ICLR 2022 · 参数高效适配的重要历史工作（DBLP核验2026-10-29） ↗

全量微调为每个任务存储完整参数；adapter（2019）加入额外层。LoRA承接低内在维适配（2020），冻结预训练权重并学习低秩增量，可在部署时合并。[5][6]

原文参数化；W₀冻结 [5]
W=W0+sBA,s=α/r,B∈Rd×r, A∈Rr×k,r≪min⁡(d,k)W=W_0+sBA,\quad s=\alpha/r,\quad B\in\mathbb R^{d\times r},\ A\in\mathbb R^{r\times k},\quad r\ll\min(d,k)
每矩阵的参数量与表示约束 [5]
#(A,B)=r(d+k),rank⁡(W−W0)≤r\#(A,B)=r(d+k),\qquad \operatorname{rank}(W-W_0)\le r

令G为有效权重的loss梯度。下面为链式法则与同时SGD更新的一阶展开；实际原文使用Adam，不能直接套用此递推。

解释性推导；非原文定理
∇BL=sGA⊤,∇AL=sB⊤G\nabla_B L=sGA^\top,\qquad\nabla_A L=sB^\top G
同时SGD的诱导矩阵更新；因子形状决定左右预条件
ΔW=−ηs2(GA⊤A+BB⊤G)+O(η2)\Delta W=-\eta s^2(GA^\top A+BB^\top G)+O(\eta^2)
原文初始化；首步SGD推论
B0=0,A0∼N:∇AL∣0=0,ΔW0=−ηs2G0A0⊤A0B_0=0,\quad A_0\sim\mathcal N:\qquad \nabla_A L|_0=0,\quad\Delta W_0=-\eta s^2G_0A_0^\top A_0

READ THE ORIGINALS

原始来源

  1. Meta Models: Models that Model Learning
  2. Advancement or Acceleration? How Data Curation Improves LLM Training
  3. Specialization, Diversity, and Scaling in Child-Scale Language Models
  4. Scaling and Renormalization in Neural Networks: An Effective Renormalization-Group Description of Grokking
  5. LoRA · v2 full text
  6. DBLP · ICLR 2022 record
  7. Exact Unlearning of Finetuning Data via Model Merging at Scale · version record
  8. Momentum in large-batch training: Polyak enlarges the critical batch size, Nesterov improves data efficiency · version record
  9. Scaling Reasoning Efficiently via Relaxed On-Policy Distillation · version record
检索窗口

2026-10-26 08:53 — 2026-10-29 08:53 · America/New_York

READ · THINK · DISCUSS

讨论与点赞

交流推导、补充文献，或推荐下一篇精读。

在下方直接评论、回复或点赞。首次参与需要 GitHub 登录授权；评论公开可见。

正在加载讨论区…

在 GitHub 打开讨论 ↗

← 返回日报归档