dmtd-multi-token - 直接多 Token 解码
通过 Transformer 后期层在早期层处理后直接预测多个输出,实现同时生成多个 Token。
标签
更新于: 2026-09-21能力
典型输入
典型输出
该技能可以做什么
- 配置多 Token 输出头
- 微调多 Token 输出头
- 使用多 Token 解码生成文本
- 评估多 Token 解码加速
输入
- 预训练自回归语言模型
- 训练数据集
- 文本提示词
- 分词器
输出
- 生成的文本序列
- 微调后的解码器模型
- 解码加速评估指标
要求
- PyTorch 框架
- Hugging Face Transformers 库
- 具备层分工特性的 Transformer 模型
