HunyuanVideo-Avatar – 开启智能视频创作新时代

HunyuanVideo-Avatar 是什么

HunyuanVideo-Avatar 是腾讯混元团队开源的语音数字人模型，由腾讯混元视频大模型（HunyuanVideo）及腾讯音乐天琴实验室 MuseV 技术联合研发。该模型仅需用户上传一张人物图像和一段音频，即可生成包含自然表情、唇形同步及全身动作的动态视频。它支持多种风格、物种和多人场景，能够广泛应用于短视频创作、电商广告、在线流媒体等多个领域。

核心功能

HunyuanVideo-Avatar 的核心功能包括：

• 音驱动数字人生成：用户输入一张人物图片和音频，模型可生成精准唇形与自然表情，无需视频参考或标注。
• 多角色同屏对话：通过面部感知音频适配器（FAA），将各角色脸部掩码分离，允许为每个人注入独立音轨，轻松实现合唱或访谈。
• 情感精准迁移：音频情感模块（AEM）可提取音频情绪向量，驱动角色的“喜怒哀乐”等细微表情变化。
• 角色一致性超高：角色图像注入模块直接在潜空间注入特征，避免“换脸”与破面，确保角色高度一致性。
• 多风格多景别支持：支持写实、卡通、3D 等多类型输入，适配广告、短视频、直播等多种场景。

技术原理

HunyuanVideo-Avatar 基于多模态扩散变换器（MM-DiT）架构，引入了三个关键创新模块：

• 角色图像注入模块：替代传统基于加法的角色条件注入方案，确保动态运动和角色一致性。
• 音频情感模块（AEM）：从情感参考图像中提取情感线索并迁移到目标视频，实现情感风格控制。
• 面部感知音频适配器（FAA）：通过潜在级别的面具隔离音频驱动的角色，支持多角色场景中的独立音频注入。

支持平台

HunyuanVideo-Avatar 支持多种平台和设备：

• 单卡/多卡推理：官方提供单卡或多卡推理脚本，支持 FP8 量化，显存 8G 也能运行。
• 操作系统：主要支持 Linux 系统。
• 硬件要求：最低需要支持 CUDA 的 NVIDIA GPU，建议使用 96GB 内存的 GPU 以获得更好的生成质量。

团队介绍

HunyuanVideo-Avatar 由腾讯混元团队与腾讯音乐天琴实验室联合研发。混元团队在多模态和视频生成领域具有深厚的技术积累，而天琴实验室则在音频处理和音乐技术方面表现出色。双方的合作确保了模型在视频和音频处理上的卓越性能。

项目资源

• 官网：https://hunyuan.tencent.com/modelSquare/home/play?modelId=126
• 项目主页：https://hunyuanvideo-avatar.github.io
• 源码：https://github.com/Tencent-Hunyuan/HunyuanVideo-Avatar
• 技术报告：https://arxiv.org/pdf/2505.20156

业务场景

HunyuanVideo-Avatar 广泛应用于以下场景：

• 短视频创作：创作者可快速生成有趣、个性化的数字人视频，降低制作成本。
• 电商直播：数字人主播可介绍产品，提升互动体验。
• 在线流媒体：用于虚拟主播、虚拟偶像内容制作。
• 社交媒体视频：个人和创作者轻松制作数字人短视频。
• 文化遗产活化：让历史人物、文物等以数字人形式生动展示。