训练工程 11
- SAM in Annealing: Loss Landscape Geometry Determines Quantization Robustness
- MoE 做 RL 训练时 Routing 决策飘了：一个零成本的 Replay 方案消除了精度不一致
- RMSNorm 后的 Layer Scalar 漂移到 56 但训练 Loss 纹丝不动：一个 Adam 优化器的隐形 Bug
- Activation Recomputation 不是免费午餐：recompute 24 层 vs 16 层导致 loss 显著偏高
- Grad-norm 一直 0.21 突然飙到 50：从真实训练日志看梯度工程的六个生死细节
- 一个 Megatron flag 把多模态梯度稀释了 17 倍：--calculate-per-token-loss 的生产事故复盘
- 只在 Answer 上算 Loss、MTP λ=0.3 到底带来多少：从实验配置反推 Loss 设计的工程决策
- 为什么多模态训练不要 Warmup：从四份真实 LR 配置看学习率调度的工程哲学
- Router 梯度和 Expert 梯度分开裁剪, Loss Spike 频率降了 80%: MoE 训练稳定性的优化器视角
- Attention Residual 拿了 0.025 的 loss 收益, 但 PyTorch 实现慢了 90%: Triton Kernel 怎么把开销压到 14%
- Layer Scalar 不加 Weight Decay 漂到 56, 为什么 Bias 不加却安然无恙: 一个用具体数字说明的数学推导