DreamActor-M1 – 重定义数字内容创作

DreamActor-M1 是字节跳动推出的一款先进 AI 图像动画框架，以下是关于它的详细介绍：

DreamActor-M1 是什么

DreamActor-M1 是一种新型人体动画生成框架，利用混合指导技术，可将静态人物照片转化为生动的动画视频，解决了以往技术在精细控制、多尺度适配和长期时间一致性等方面的问题。

核心功能

• 静态照片转动态影像 ：结合一张静态照片和一段参考动作视频，就能将照片中的人物无缝替换到视频场景中，生成表情细腻、动作自然且画质高清的动态影像。
• 精细控制 ：通过混合引导机制，结合隐式面部表示、3D 头球和 3D 身体骨架等控制信号，实现对人物面部表情和身体动作的精准控制，哪怕是微笑、眨眼、嘴唇颤动等细微表情，或是头部转动、手臂抬起等动作，都能精准复刻。
• 灵活的运动转移 ：支持仅传递部分运动，例如面部表情和头部运动，可满足不同的创作需求。
• 面部动画支持 ：可扩展至音频驱动的面部动画，实现多语言的口型同步，让生成的动画人物在不同语言环境下都能有自然的口型表现。
• 形状感知动画 ：具备形状感知动画的能力，通过骨骼长度调整技术，实现形状适应的动画生成，使动画能更好地适应不同人物的身体特征。
• 多样化风格支持 ：对各种角色和运动风格具有鲁棒性，无论是写实风格还是卡通化效果等不同风格都能驾驭，为创作者提供了更广阔的创作空间。
• 多种视角支持 ：能在不同的头部姿态下生成动画结果，适应从肖像到全身视图的不同分辨率需求，保证动画在各种构图和场景中的连贯性和稳定性。

技术原理

• 混合引导机制 ：是 DreamActor-M1 的核心技术之一，将隐式面部表示、3D 头部球体和 3D 身体骨架等控制信号相结合，实现对人物面部表情和身体动作的精准控制，确保生成的动画在细节上高度逼真，同时保持整体的协调性和流畅性。
• 多尺度适应性 ：基于 DiT（Diffusion Transformer）架构，通过逐步训练策略，使用不同分辨率和尺度的数据对模型进行训练，使框架能够处理各种身体姿势和不同分辨率的图像，从而支持从肖像到全身视图的转换。
• 长期时间一致性 ：通过整合连续帧的运动模式和视觉参考，确保在复杂动作中未观察区域的时间一致性，避免了传统方法在生成长时间动画时常见的“穿帮”现象，保证了动画在时间维度上的连贯性。
• 面部动画与语音支持 ：采用基于 Transformer 的音频 - 面部解码器结构，支持音频驱动的面部动画，实现多语言的口型同步，进一步增强了动画的真实感。

支持平台

DreamActor-M1 主要基于 DiT（Diffusion Transformer）框架进行开发和实现。

团队介绍

DreamActor-M1 由字节跳动智能创作团队研发。字节跳动在 AI 领域拥有深厚的技术积累和强大的研发实力，其智能创作团队汇聚了众多在深度学习、计算机视觉、图形学等领域的专家，致力于探索和开发前沿的 AI 技术，为内容创作等领域带来创新和变革。此前，该团队已在多个 AI 项目中取得显著成果，而 DreamActor-M1 的推出再次展现了其在 AI 视频生成领域的技术突破和创新能力。

项目资源

• 项目官网 ：https://grisoon.github.io/DreamActor-M1/
• arXiv 技术论文 ：https://arxiv.org/pdf/2504.01724

业务场景

• 影视制作 ：可用于生成虚拟角色的表演动画，降低拍摄成本和风险，还可对演员的表演进行修饰和增强，甚至可以让已故演员“复活”重现经典场景。
• 广告营销 ：能够快速生成具有吸引力的广告视频，让产品代言人或虚拟形象在广告中呈现出更加生动、自然的表演，吸引消费者的注意力。
• 虚拟主播 ：助力打造个性化的虚拟主播，使其能够实时根据语音输入做出自然的表情和口型动作，提升直播的趣味性和互动性。
• 游戏开发 ：为游戏角色的动画制作提供更高效、更灵活的解决方案，提高游戏的沉浸感和表现力。
• 教育娱乐 ：在教育领域，可让历史人物“复活”，为学生带来沉浸式的学习体验；在娱乐方面，可将用户的照片转化为具有独特风格的动画视频，为用户带来全新的娱乐方式。
• 社交媒体 ：帮助用户创作出更具创意和个性化的视频内容，如将静态照片制作成动态表情包、短视频等，丰富社交表达方式。