taoavatar-augmented-reality - 面向增强现实的实时全身会说话化身
使用混合 SMPLX-高斯表示和教师-学生形变蒸馏，为增强现实创建实时全身会说话化身。
标签
更新于: 2026-09-30能力
典型输入
典型输出
该技能可以做什么
- 构建混合 SMPLX-高斯模型
- 预测姿态相关形变
- 蒸馏教师形变知识
- 控制化身表情与手势
- 同步化身与音频
- 实时渲染高斯化身
输入
- SMPLX 身体模型
- 姿态参数
- 形状参数
- 表情参数
- 手部姿态参数
- 纹理特征
- UV 映射
- 手势关键帧
- 音频信号
输出
- 渲染后的全身会说话化身
- 姿态相关形变预测
- 紧凑的学生形变模型
- 高斯渲染参数
要求
- PyTorch 环境
- PyTorch3D
- 预训练 SMPLX 模型
- 3D 高斯光栅化支持