vision-transformers-registers - 视觉Transformer无需训练寄存器
在预训练视觉Transformer中注入测试时寄存器令牌,减少高范数离群伪影且无需重新训练。
标签
更新于: 2026-09-28能力
典型输入
典型输出
该技能可以做什么
- 检测寄存器神经元
- 识别离群令牌
- 注入测试时寄存器令牌
- 转移神经元激活
- 分析注意力图
- 计算注意力指标
输入
- 预训练视觉Transformer
- 图像数据加载器
- 输入图像
- 目标层索引
- 注意力层索引
- 注意力头索引
输出
- 寄存器神经元索引
- 注入令牌后的推理输出
- 注意力图
- 注意力质量指标
要求
- PyTorch运行环境
- 预训练视觉Transformer检查点
- 访问Transformer层内部结构
- 无需重新训练的推理环境
