SkyReels-A2 – 开启可控视频生成新时代

SkyReels-A2 是昆仑万维推出的一款开创性的可控视频生成框架，它能够依据文本提示，将各种视觉元素如人物、物体、背景等灵活组合成合成视频，并且可以严格保持与每个元素的参考图像的一致性。这使得视频生成过程更加精准、可控，为创意视频制作带来了全新的解决方案，推动了视频生成技术从实验阶段迈向实用化应用阶段。

核心功能

• 多元素组合 ：可以将任意视觉元素组合成合成视频，并且能够严格保持与每个元素的参考图像的一致性，让视频中的各个元素都高度还原参考图像的特征。
• 文本驱动生成 ：根据文本提示生成视频，用户通过文字描述就能精确控制视频的内容和风格，实现对生成过程的深度把控。
• 高质量视频输出 ：生成的视频具有高分辨率和卓越的画质，如 A2-Wan2.1-14B-Preview 版本可生成分辨率为 480×832 的视频，即将发布的 A2-Wan2.1-14B-Infinity 版本支持生成无限长度、分辨率提升至 720×1080 的高质量视频，能够满足广告、影视等多种专业级应用场景的需求。
• 实时交互 ：支持用户在生成过程中进行实时交互，调整生成参数，从而快速获得更符合需求的视频效果，大大提高了创作的灵活性和效率。

技术原理

• 扩散模型 ：利用扩散模型的特性，通过逐步去噪的过程将随机噪声转化为高质量的视频内容。在转化过程中，使用文本和图像提示来引导生成方向，让生成的视频更符合用户的期望。
• 图像 - 文本联合嵌入模型 ：设计了新颖的图像 - 文本联合嵌入模型，将参考图像和文本提示嵌入到共同的特征空间中。该模型采用双分支结构，分别提取参考图像的空间特征和语义特征，并将其注入到扩散模型的生成过程中。其中，空间特征基于 3D VAE 提取，以保留局部细节；语义特征基于 CLIP 模型提取，确保全局语义的一致性。
• 数据管道 ：构建了全面的数据管道，用于生成高质量的文本、参考图像、视频三元组，为模型训练提供了更高效的学习路径。数据管道涵盖了从视频预处理、关键帧分割、多专家视频字幕生成到视觉元素提取等关键步骤，确保训练数据的有效性和高质量。
• 优化的推理管道 ：为提高生成速度和稳定性，对推理管道进行了深度调优。基于 unipc 多步调度策略，结合并行化处理技术，如 context parallel、cfg parallel 和 vae parallel，显著提升了模型的推理效率。同时，采用模型量化和参数级卸载策略，降低了 GPU 内存消耗，支持在消费级显卡上运行，降低了硬件门槛。
• 评估基准 a2 bench ：引入了 a2 bench 评估基准，从多个维度如组成一致性、视觉质量、文本对齐等对元素到视频（E2V）任务的性能进行全面评估，确保模型在不同场景下的表现满足实际应用需求，为模型的优化和改进提供了有力的支持。

支持平台

• 多系统兼容 ： SkyReels-A2 支持在 Linux、Windows、macOS 等多种操作系统上运行，方便不同用户群体使用。
• 硬件适配广泛 ：经过优化，可在消费级显卡上运行，如针对 RTX 4090 显卡有专门的推理性能优化计划，降低了专业硬件的依赖，使更多的创作者能够使用该框架进行视频创作。

团队介绍

SkyReels-A2 由昆仑万维团队开发推出。昆仑万维在人工智能领域拥有丰富的经验和深厚的技术积累，其团队成员在视频生成、模型开发等方面具备专业的知识和技能，能够不断推动技术的创新和产品的优化。此外，昆仑万维还致力于开源社区的建设和发展，通过开源项目与全球的技术开发者进行交流合作，共同促进技术的进步。

项目资源

• 官网：https://skyworkai.github.io/skyreels-a2.github.io/
• GitHub 仓库：https://github.com/SkyworkAI/SkyReels-A2
• Huggingface 模型库：https://huggingface.co/Skywork/SkyReels-A2
• arxiv 技术论文：https://arxiv.org/pdf/2504.02436

业务场景

• 影视制作 ：在影视行业，可用于快速生成故事板、概念预告片等，帮助导演和编剧更好地呈现创意，节省拍摄成本和时间。例如，通过组合不同的角色、场景元素，快速生成不同情节的片段，进行预览和评估。
• 虚拟电商 ：为虚拟电商平台生成产品展示视频，通过将产品与各种虚拟场景和人物进行组合，展示产品在不同环境下的使用效果，提升消费者的购买体验，推动虚拟电商的发展。
• 广告营销 ：广告制作公司可以利用 SkyReels-A2 快速生成多种风格和内容的广告视频，根据不同的目标受众和广告场景，灵活调整元素和风格，提高广告的吸引力和效果。
• 教育培训 ：在教育领域，可用于制作生动有趣的教育视频，将抽象的知识内容通过可视化的元素组合呈现出来，帮助学生更好地理解和掌握知识。
• 创意设计 ：为创意设计师提供了一个强大的工具，快速将创意概念转化为可视化的视频作品，探索不同的设计风格和元素组合，激发更多的创意灵感。