dmtd-multi-token - 直接多 Token 解码推理优化多 Token 解码层分工Transformer 效率★ 6 · 更新于 2026-09-21通过 Transformer 后期层在早期层处理后直接预测多个输出,实现同时生成多个 Token。⚙ 配置多 Token 输出头⚙ 微调多 Token 输出头⚙ 使用多 Token 解码生成文本
unsloth-inference - 使用Unsloth部署微调模型进行生产推理模型推理模型部署vllmsglang★ 650 · 更新于 2026-02-14使用优化内核和服务引擎部署微调模型进行生产推理⚙ 加载微调模型⚙ 加载分词器⚙ 启用优化内核