optimizing-attention-flash - Flash Attention Transformer 注意力优化
Flash Attention 注意力优化显存优化 PyTorch
★ 22 · 更新于 2026-06-30
通过 PyTorch SDPA、flash-attn 库、H100 FP8 及滑动窗口注意力优化 Transformer 注意力机制。
⚙ 启用 Flash Attention 后端 ⚙ 替换标准注意力计算 ⚙ 基准测试注意力速度与显存