FaceShot – 赋予角色生动表情的创新肖像动画生成框架

FaceShot是由同济大学、上海AI Lab和南京理工大学联合推出的一种新型无需训练的肖像动画生成框架。它通过外观引导的地标匹配模块和基于坐标的地标重定位模块，为各种角色生成精确且鲁棒的地标序列，并利用潜在扩散模型的语义对应关系，跨越广泛的角色类型生成面部动作序列。最终，将生成的地标序列输入预训练的动画模型，生成高质量的动画视频。

核心功能

FaceShot的主要功能包括角色动画生成、跨领域动画、无需训练和高度兼容性。它能够为各种类型的角色生成流畅且自然的面部动画，同时保持角色的原始特征。此外，FaceShot支持从人类视频驱动非人类角色的动画，极大地扩展了肖像动画的应用范围。它无需针对每个角色或驱动视频进行额外的训练或微调，直接生成高质量的动画。FaceShot还可以作为插件与任何地标驱动的动画模型无缝集成。

技术原理

FaceShot的技术原理主要基于三个核心模块。首先是外观引导的地标匹配模块，它利用潜在扩散模型的语义对应关系，结合外观先验知识，为任意角色生成精确的面部地标。其次，基于坐标的地标重定位模块通过坐标系变换捕捉驱动视频中的细微面部动作，生成与之对齐的地标序列。最后，将生成的地标序列输入预训练的动画模型，生成最终的动画视频。

支持平台

FaceShot支持多种操作系统和开发环境，包括但不限于Linux和Windows。它基于Python开发，依赖于PyTorch等深度学习框架。

团队介绍

FaceShot由同济大学、上海AI Lab和南京理工大学的研究团队联合开发。该团队在计算机视觉和人工智能领域拥有丰富的研究经验和深厚的技术积累。

项目资源

• 项目官网：https://faceshot2024.github.io/faceshot/
• GitHub仓库：https://github.com/open-mmlab/FaceShot
• arXiv技术论文：https://arxiv.org/pdf/2503.00740

业务场景

FaceShot在多个领域具有广泛的应用潜力。在影视和游戏行业，它可以用于快速生成角色的面部动画，降低制作成本。在教育领域，FaceShot可以让教材中的卡通形象和动物角色“活起来”，增强教学内容的吸引力。此外，它还可以应用于广告营销，让品牌吉祥物和产品包装形象“开口说话”，创造更具互动性的营销内容。