engineering 19
- up_proj 和 gated_proj 共享权重减 50% FFN 参数: 16 个验证集全部退化的干净失败
- RMSNorm 后的 Layer Scalar 漂移到 56 但训练 Loss 纹丝不动：一个 Adam 优化器的隐形 Bug
- Embedding 占了模型 10% 参数却只做查表：从 tie-embeddings=yes 到 PLE 的工程演化
- KV Cache 砍 90%、推理提速 7x：六个正交架构创新如何叠加生效
- SWA + Gated Attention loss 降了 0.013：从一个 3B 模型实验看 Attention 演化的工程选择
- KV Cache 共享让文本榜单掉了 1.9%，但 RL 四轮迭代后反超 baseline 1.4%: 架构退化的 RL 补偿机制
- SwiftKV 预测 12 层 loss 最低, 但最终选了 16 层: 端侧首词提速 35% 的工程决策
- Partial MoE Scaling Law: 后16层换MoE、1/8激活比丢了17-19%性能的真实代价
- CoLA 说参数减 45% 不掉点，我们的 3B 实验说 6.85T tokens 才能追平：一个精确的负面结果
- CoLA 放在 up_proj 收敛快 2.3 倍: FFN 内部低秩最优落点的定位实验
- 五次排除实验定位 Attention 门控最优解：Sink 无效、RoPE 反噬、小窗口翻车
- 5 个独立创新逐步叠加, 从 loss 1.966 到 1.882 追平 Qwen3-4B: 架构集成的工程叙事
- RL 训练加速实战：Qwen3.5 + vLLM + veRL 的 fully-async 架构
- Moonshot Kimi 系列技术洞察：从 K1.5 到 K2.6 的架构、优化器、训推工程
- 语音识别模型架构演进：从 HMM-GMM 到 Whisper 到 Qwen3-ASR
- vLLM v0.20 架构深度解析：双引擎、调度器、KV Cache 与分布式推理
- 配置驱动的训练框架：从 YAML 到模块实例化的设计与实践
- PyTorch Profiler 显存瓶颈分析全指南（实战版）
- PyTorch Profiler 瓶颈分析全指南（实战版）