long-context 4 multi_doc_qa 从 0.086 涨到 0.200: SWA + LowRank Gated + Hybrid RoPE 的长文配方 Jun 10, 2026 长文 Loss 突然涨了 0.004：一次 RoPE × SWA 的冲突复盘与位置编码扩展全解 Jun 10, 2026 seq_len 从 4K 推到 16K、CP=2 一开就慢了 20%：Ulysses Context Parallelism 的工程取舍全记录 Jun 10, 2026 4K→1M 上下文扩展只用了 2000 步：三份真实长文训练配置的工程复盘 Jun 10, 2026