efficiency 7
- up_proj 和 gated_proj 共享权重减 50% FFN 参数: 16 个验证集全部退化的干净失败
- SwiftKV — KV Cache 跨层预测从预训练到 RL 的完整工程叙事
- Token Superposition Training：2.5x 预训练加速但重新初始化 embedding 就翻车
- CoLA 说参数减 45% 不掉点，我们的 3B 实验说 6.85T tokens 才能追平：一个精确的负面结果
- CoLA 放在 up_proj 收敛快 2.3 倍: FFN 内部低秩最优落点的定位实验
- 新架构 34/35 验证集更好、ceval +2.67 pt, 但 iter-time 慢了 3.17 倍: 结构升级的效率代价决策
- Design Spec — 训推加速三新篇：精度对齐 / Gradient Checkpointing / CUDA Graph