pytorch-architecture - PyTorch架构设计与最佳实践
按照最佳实践设计和实现PyTorch模块，优化内存、分布式训练和性能。
标签
更新于: 2026-03-10能力
典型输入
典型输出
该技能可以做什么
- 设计编码器模块
- 设计解码器模块
- 设计损失模块
- 编写PyTorch模块
- 重构PyTorch模块
- 编写单元测试
- 估算内存占用
- 设置分布式训练
- 启用Flash Attention
- 启用torch.compile
- 文档化张量形状
- 检查DDP行为
输入
- 项目目标
- 张量形状
- 内存约束
- 训练参数
- 模型配置
- 损失配置
- 数据配置
输出
- PyTorch模块代码
- 单元测试代码
- 训练好的模型文件
- 张量形状文档
- 训练日志
要求
- PyTorch
- CUDA
- NCCL
- 分布式训练环境