long-context - 扩展 Transformer 模型的上下文窗口
使用 RoPE、YaRN、ALiBi 和位置插值技术处理并扩展 Transformer 模型的上下文窗口。
标签
更新于: 2026-09-30能力
典型输入
典型输出
该技能可以做什么
- 实现旋转位置嵌入
- 配置 YaRN 缩放
- 创建 ALiBi 偏置
- 应用位置插值
- 扩展模型上下文窗口
- 微调长上下文模型
输入
- Transformer 模型
- 预训练模型配置
- 长文档
- 序列长度
- 微调数据
输出
- 位置编码代码
- 上下文缩放配置
- 注意力偏置张量
- 长上下文模型输出
要求
- Python 环境
- PyTorch
- Hugging Face Transformers
- 兼容的 Transformer 模型