AnimeGamer – 打造你的专属动漫世界

AnimeGamer 是什么

AnimeGamer 是由腾讯 PCG 与香港城市大学联合推出的一款基于多模态大型语言模型（MLLM）的无限动漫生活模拟系统。它能够通过自然语言指令实时生成动态的动漫游戏世界，并预测下一游戏状态，为用户带来沉浸式的动漫角色互动体验，让用户告别传统被动观看模式，真正融入动漫世界。

核心功能

• 角色扮演与互动 ：玩家可扮演《悬崖上的金鱼姬》的宗介、《魔女宅急便》的琪琪等经典动漫角色，并与游戏世界互动，还能让不同动漫的角色相遇互动，如让琪琪向《天空之城》的巴鲁传授飞行技巧。
• 动态动画生成 ：根据玩家指令实时生成动态动画镜头，展现角色动作和场景变化，且动画具有上下文一致性和动态性，能准确地根据指令呈现出相应的画面内容。
• 角色状态更新 ：动态更新角色的体力、社交和娱乐值等状态，反映角色在游戏世界中的状态变化，增加游戏的真实感和互动性。
• 多轮对话交互 ：支持基于自然语言进行多轮对话，模型基于历史上下文生成一致的游戏状态，确保对话的连贯性和逻辑性，使玩家能够深入地与角色交流，推动故事发展。
• 自定义游戏内容 ：支持玩家自定义喜欢的角色和场景，打造属于自己的个性化动漫冒险故事。

技术原理

• 多模态大语言模型 ：理解和生成包含文本和视觉信息的多模态数据，是整个系统的核心驱动力，能够同时处理和生成文本、图像等多种类型的数据，为游戏提供强大的理解和生成能力。
• 动作感知多模态表示 ：将动画镜头分解为视觉参考、动作描述和动作强度三个部分，基于编码器将信息整合为多模态表示，再通过视频扩散模型解码为高质量的动态视频，引入动作强度控制生成视频的动作幅度，确保生成的动画镜头具有上下文一致性和自然性。
• 上下文一致性 ：将历史动画镜头的多模态表示作为上下文输入，模型能预测后续的游戏状态，确保生成的动画镜头在上下文中保持一致，对于维持游戏的连贯性和沉浸感至关重要。
• 角色状态管理 ：基于 MLLM 预测角色的体力、社交和娱乐值的动态更新，状态更新反映角色在游戏世界中的行为和互动，增加游戏的真实感和互动性。

支持平台

AnimeGamer 目前支持 Windows、Linux 等操作系统，可在多种常见的硬件配置上运行，对 CPU、内存、显卡等硬件的兼容性良好，能够满足不同用户的需求。

团队介绍

AnimeGamer 由腾讯 PCG 与香港城市大学联合开发。腾讯 PCG 拥有丰富的互联网产品开发和运营经验，在多模态 AI 和游戏开发领域也具有深厚的技术积累和创新能力。香港城市大学在人工智能、计算机图形学等前沿技术研究方面一直处于领先地位，为该项目提供了强大的技术支持和理论基础。

项目资源

• 官网 ：https://howe125.github.io/AnimeGamer.github.io/
• GitHub 仓库 ：https://github.com/TencentARC/AnimeGamer
• HuggingFace 模型库 ：https://huggingface.co/TencentARC/AnimeGamer
• arXiv 技术论文 ：https://arxiv.org/pdf/2504.01014

业务场景

• 动漫创作 ：为动漫创作者提供灵感和素材，帮助他们快速生成动态分镜、角色互动等场景，提高创作效率和质量，还可以通过与角色的互动更好地理解角色性格和故事走向。
• 游戏开发 ：为游戏开发者提供创新的动漫游戏开发工具和思路，使其能够打造更加丰富、沉浸式的动漫游戏体验，吸引更多动漫爱好者转化为游戏玩家，拓展游戏市场。
• 文化推广 ：有助于推广动漫文化，让更多人了解和喜爱动漫，促进动漫文化的传播和发展，同时也为动漫教育、研究等领域提供了生动的教学和研究素材。
• 社交娱乐 ：用户可以与朋友一起创造属于自己的动漫故事和游戏世界，分享给其他动漫爱好者，增进彼此之间的交流和互动，形成一个充满创意和乐趣的动漫社交社区。