MM-StoryAgent – 开源多模态、多智能体故事生成系统

MM-StoryAgent 是什么

MM-StoryAgent 是上海交通大学 X-LANCE 实验室和阿里巴巴集团联合推出的开源多模态、多智能体框架，用于生成沉浸式的有声故事绘本视频。该框架结合了大型语言模型（LLMs）和多种模态的生成工具，如文本、图像、音频等，通过多阶段写作流程和模态特定的提示修订机制，提升故事的吸引力和沉浸感。

核心功能

• 高质量故事生成 ：基于多智能体协作和多阶段写作流程，生成具有吸引力、教育性和情感共鸣的故事内容。先构建故事大纲，再逐步扩展和优化章节内容，确保故事逻辑清晰、内容丰富。
• 多模态内容生成 ：能够生成包括文本、图像、语音、音乐和音效在内的多种内容，并将这些资产组合成一个高质量的故事视频，为用户带来丰富的沉浸式体验。
• 角色一致性 ：在图像生成中，基于角色提取和提示修订，确保故事中的角色在视觉上保持一致，避免出现角色形象混乱等问题。
• 模态对齐 ：基于提示修订和对比学习模型，优化文本与图像、音频之间的对齐效果，提升整体故事的连贯性，使各模态内容相互协调。
• 灵活的模块化设计 ：支持灵活替换生成模块，如不同的文本生成模型、图像生成模型等，便于开发者根据需求进行定制和优化，以适应不同的应用场景。

技术原理

• 多智能体协作架构 ：模拟业余作者与专家之间的对话，生成故事大纲和章节内容。对话过程模拟人类的头脑风暴，为故事提供更丰富的创意和吸引力。针对图像、音频等不同模态的需求，将文本故事转化为适合生成模型的提示内容，并基于 “修订者 - 审核者” 的多轮协作，优化提示的质量。
• 多模态生成技术 ：文本生成基于大型语言模型（LLMs）；图像生成使用扩散模型（如 StoryDiffusion），并通过角色提取确保角色在多帧图像中保持一致；音频生成基于文本到语音（TTS）模型生成旁白，用 AudioLDM2 或 MusicGen 等模型生成音效和背景音乐；最后将生成的图像、音频和文本内容合成，形成完整的有声故事视频。
• 模态对齐优化 ：利用对比学习模型（如 CLIP、CLAP）评估生成内容与文本之间的对齐程度，并基于提示修订机制优化生成效果，以实现图像、语音、音乐和音效之间的更好的对齐效果。

支持平台

MM-StoryAgent 支持在 Linux、Windows 等操作系统上运行，可通过 Python 进行开发和部署，其具体的安装和使用方法可参考项目文档。

团队介绍

MM-StoryAgent 由上海交通大学 X-LANCE 实验室和阿里巴巴集团联合研发。上海交通大学 X-LANCE 实验室在人工智能领域有着深厚的研究基础和技术积累，阿里巴巴集团则在大规模语言模型、多模态生成技术等方面具有丰富的实践经验和技术优势，双方的合作为 MM-StoryAgent 的研发和创新提供了有力保障。

项目资源

• GitHub 仓库 ：https://github.com/X-PLUG/MM_StoryAgent
• arXiv 技术论文 ：https://arxiv.org/pdf/2503.05242
• 在线体验 Demo ：https://huggingface.co/spaces/wsntxxn/MM-StoryAgent

业务场景

• 儿童教育 ：为儿童提供富有创意和沉浸感的故事视频，帮助儿童提高阅读兴趣、语言表达能力和想象力，同时减轻家长和教师制作教学材料的负担。
• 内容创作 ：协助内容创作者快速生成高质量的故事视频，提高创作效率，可应用于短视频制作、影视编剧等领域。
• 广告营销 ：可为广告公司和营销人员生成具有吸引力的广告故事视频，更好地传达产品或品牌信息，吸引消费者的关注。
• 娱乐产业 ：在游戏开发、动漫制作等娱乐产业中，用于生成游戏剧情、动漫故事等，提升作品的吸引力和竞争力。