moe 11
- MoE 做 RL 训练时 Routing 决策飘了：一个零成本的 Replay 方案消除了精度不一致
- Loss Spike 频率降了 80%：从 Adam 到 MuonClip，万亿参数 MoE 的优化器进化实战
- KV Cache 砍 90%、推理提速 7x：六个正交架构创新如何叠加生效
- Partial MoE Scaling Law: 后16层换MoE、1/8激活比丢了17-19%性能的真实代价
- Router 梯度和 Expert 梯度分开裁剪, Loss Spike 频率降了 80%: MoE 训练稳定性的优化器视角
- 512 Expert 里 80% 是死的：从 MuonClip 到 Expert Upcycling，MoE 训练稳定性的三个生死问题
- 训推加速技术地图：三维分类 + 全景图 + 决策流 + 大模型加速术语表
- MoE 训练加速实战：DeepEP + Grouped GeMM + Aux-Loss-Free 的 Qwen3.5 配方
- MoE 教师 → Dense 学生：2024~2026 开源社区的落地范式
- Moonshot Kimi 系列技术洞察：从 K1.5 到 K2.6 的架构、优化器、训推工程
- LLM 训练显存估算全指南：从 ZeRO 到 MoE