Mini DALL·E 3 – 开源交互式文生图框架的革新之力
Mini DALL·E 3是什么
Mini DALL·E 3是由北京理工大学、上海 AI Lab、清华大学和香港中文大学联合研发的交互式文本到图像（iT2I）框架，也是首个实现多轮交互式文生图的开源框架，突破传统文生图工具的单次生成模式，允许用户通过自然语言对话逐步优化图像内容，无需额外训练即可生成符合描述的图像。
核心功能
- 交互式图像生成：用户基于自然语言描述需求，系统生成匹配的图像，多轮对话逐步明确需求，最终生成符合描述的图像。
- 实时图像编辑：支持用户要求修改图像，系统根据反馈逐步调整，还支持局部修改指令，如“把背景换成雪山”。
- 内容连贯性保持：多轮对话中保持图像主题和风格连贯，自动维持角色特征和场景一致性。
- 问答结合：支持用户询问图像细节，系统结合内容回答，并可根据反馈立即重绘。
技术原理
- 大型语言模型（LLM）与提示技术：以 ChatGPT、LLAMA 等 LLM 为核心，分析用户指令生成图像描述，用特殊提示格式将图像生成任务转化为文本生成任务，并提供提示细化模块优化描述。
- 文本到图像模型（T2I）：结合 Stable Diffusion 等预训练 T2I 模型，将 LLM 生成的图像描述转化为实际图像，根据描述复杂性和内容变化大小选择不同 T2I 模型确保质量和效率。
- 层次化内容一致性控制：引入不同层次 T2I 模型，实现小幅度内容变化和大幅度内容变化的灵活处理，将前一次生成的图像作上下文输入，保证多轮生成图像内容一致性。
- 系统架构：由 LLM、路由器、适配器和 T2I 模型组成。路由器解析 LLM 输出，识别图像生成需求传递给适配器，适配器将图像描述转换为适配 T2I 模型的格式，由 T2I 模型生成图像.
支持平台
Mini DALL·E 3 支持 Windows、macOS 和 Linux 等主流操作系统，同时兼容 Python 3.7 或更高版本，可方便地集成到现有的开发环境和工作流程中。
团队介绍
Mini DALL·E 3 由北京理工大学、上海 AI Lab、清华大学和香港中文大学联合开发。这些顶尖高校在人工智能领域拥有深厚的学术积累和强大的研发实力，其研究团队在多模态学习、自然语言处理和计算机视觉等前沿领域成果斐然，为 Mini DALL·E 3 的创新研发提供了坚实的学术基础和技术支撑。
项目资源
业务场景
- 设计创作：设计师可借此快速生成设计初稿、概念图、插画等，通过多轮对话细化完善设计细节，提高设计效率和质量。
- 广告营销：根据广告文案和创意概念生成对应的广告图像、海报、社交媒体配图等，助力广告创意的快速实现。
- 教育科研：生成示意图、模型图等教学资源辅助教学，帮助学生更直观地理解抽象概念；在科研领域，可生成数据可视化图像、模拟实验场景等。
- 游戏开发：用于快速构建游戏场景、角色、道具等的原型，加速游戏前期的概念设计和美术资源的生产。
- 影视制作：协助生成电影分镜、场景概念图、特效预览等，为影视创作提供视觉参考和创意启发。
- 个性化服务：根据用户个人喜好和需求，生成定制化图像，如头像、纪念品设计、壁纸等。