Index-AniSora – 开源动画视频生成的创新突破
Index-AniSora是什么
Index-AniSora是由哔哩哔哩（B站）开源的先进动画视频生成模型，专为二次元风格视频生成而设计。它支持一键生成多种风格的二次元视频，包括番剧、国创动画、漫改动画、VTuber、动画PV和鬼畜动画等。这一模型的推出，极大地提升了动画内容的生产效率与质量，为动画爱好者和创作者带来了全新的创作工具。
核心功能
Index-AniSora的核心功能包括：
- 图像到视频生成：根据单张图片生成连贯的动画视频。
- 帧插值：支持关键帧插值，通过生成中间帧实现平滑过渡。
- 局部图像引导：用户可以指定特定区域进行动画生成。
- 时空控制：结合时间和空间的控制能力，支持首帧、尾帧、多帧引导等多种方式。
- 多样化风格支持：生成多种动画风格的视频，满足不同需求。
技术原理
Index-AniSora的技术原理基于B站提出的AniSora模型，该模型已被IJCAI2025接收。其技术框架包括：
- 扩散模型：基于扩散模型架构，逐步去除噪声生成高质量的视频内容。
- 时空掩码模块：支持对特定时间和空间区域进行控制。
- 3D因果变分自编码器（3D Causal VAE）：对视频的时空特征进行编码和解码。
- Transformer架构：捕捉视频中的复杂时空依赖关系。
- 强化学习框架：通过人类反馈对动画视频生成进行对齐优化。
- AnimeReward奖励模型与GAPO算法：通过显式建模正负样本间的偏好差距，强化奖励信号，提升模型对齐性能。
支持平台
Index-AniSora支持多种平台和设备，包括但不限于：
- AniSoraV1.0：基于CogVideoX-5B基座模型训练，适合4090显卡部署。
- AniSoraV2.0：基于Wan2.1-14B基座模型训练，支持国产芯片华为910B的高效分布式训练。
此外，模型还提供了完整的训练和推理代码，方便开发者在不同平台上进行部署和优化。
团队介绍
Index-AniSora由B站的研究团队开发，该团队在动画视频生成领域取得了显著成就。他们构建了首个面向动漫领域的高质量奖励数据集，包含30,000条人工标注的动漫视频样本。此外，团队还设计了AnimeReward奖励模型和GAPO算法，显著提升了模型的对齐性能。
项目资源
- 官网：https://github.com/bilibili/Index-anisora
- 模型链接：https://modelscope.cn/models/bilibili-index/Index-anisora
- 体验链接：https://modelscope.cn/studios/bilibili-index/Anisora
业务场景
Index-AniSora适用于多种业务场景，包括但不限于：
- 动画制作：快速生成高质量的动画内容，减少手工绘制的工作量。
- 内容创作：将漫画转化为生动的动画效果。
- 视频编辑：支持帧插值和局部引导，提升视频编辑的灵活性。
- 二次元内容开发：支持多种小众艺术风格，满足不同创作者的需求。