rope 6 从 vanilla RoPE 到多模态 RoPE：位置编码的「解耦」之路 Aug 10, 2026 multi_doc_qa 从 0.086 涨到 0.200: SWA + LowRank Gated + Hybrid RoPE 的长文配方 Jun 10, 2026 长文 Loss 突然涨了 0.004：一次 RoPE × SWA 的冲突复盘与位置编码扩展全解 Jun 10, 2026 4K→1M 上下文扩展只用了 2000 步：三份真实长文训练配置的工程复盘 Jun 10, 2026 五次排除实验定位 Attention 门控最优解：Sink 无效、RoPE 反噬、小窗口翻车 Jun 10, 2026 训推加速 Qwen3 实战：看懂模型结构 + 识别算子融合机会 May 7, 2026