GHARP：基于大规模重建先验的实时高斯头部动画

我们提出了 GHARP（基于大规模重建先验的实时高斯头部动画），这是一种可以从少量的被摄者图像和驱动表情信号实时动画化 3D 人头的方法。我们将问题分解为两个阶段：身份阶段用于离线构建被摄者的几何和外观表示，动画阶段在运行时预测基于表情的残差。这样的分离在保真度、质量和运行时间方面提供了良好的权衡：身份阶段可以较为耗时，而动画阶段运行轻量网络，可针对移动设备进行优化。我们的方法在预训练重建模型的语义结构潜空间中进行动画，其中表情变化保持空间上的局部性，从而使残差预测高效。 这种重建先验提供了一致的空间布局，允许将多个输入视图融合为紧凑的、固定尺寸的规范高斯表示。虽然这种两阶段设计改善了运行时间与质量的权衡，但它仍然继承了所有基于表情的角色方法的一个常见问题：表情编码仅描述面部，因此忽略了身体姿势和服装位置，使这些区域在输入中信息不足。动画网络面临一个病态的映射问题，并采取在冲突的身体外观上进行平均的方法，从而产生模糊和时间闪烁。我们通过一个身体对齐网络来解决这一问题，该网络学习将目标图像中的人体与输入参考图像对齐，从训练信号中消除歧义。 我们的方法在Ava-256基准上实现了最先进的质量，同时在A100 GPU上运行速度提高了最多13倍，使用的高斯数量减少了8倍。