moe-training - 训练稀疏混合专家模型混合专家稀疏模型DeepSpeed专家并行★ 3 · 更新于 2026-09-29使用 DeepSpeed 或 HuggingFace 训练和优化稀疏混合专家模型,涵盖路由、负载均衡、专家并行和推理优化。⚙ 实现稀疏 MoE 架构⚙ 配置 Top-k 路由⚙ 平衡专家利用率