3DV-TON – 开启视频虚拟试穿新时代
3DV-TON 是什么
3DV-TON 是阿里巴巴达摩院、湖畔实验室和浙江大学联合推出的基于扩散模型的视频虚拟试穿框架。其借助先进的 3D 几何与纹理建模以及视频扩散模型，解决了现有方法在处理复杂服装图案和多样化人体姿态时生成效果不佳的问题，可确保服装在动态视频中的一致性与真实感，为电商、时尚和虚拟现实等领域带来了突破性应用。
核心功能
- 高保真视觉效果 ：能够准确还原服装的精细纹理细节，如织物的材质、图案等，生成的试穿视频逼真度高，可达到 4K 分辨率输出，让用户能清晰地看到服装的每一处细节，从而更好地评估服装的真实效果。
- 时间一致性保障 ：利用视频扩散模型，在多帧动态场景中保持服装的时空一致性，避免了服装纹理在视频中出现闪烁、变形或不自然的运动，使试穿视频更加流畅自然，为用户呈现出连贯的试穿体验。
- 适应复杂场景 ：支持处理各种类型的服装，包括裙装、上衣、外套等，以及复杂的人体姿态和动态场景，如模特的行走、转身、挥手等动作，还能适配不同的背景环境，满足多样化的试穿需求。
- 提供基准数据集 ：引入高分辨率的基准数据集 HR-VVT，推动了视频试穿技术的研究进展，为相关领域的研究人员提供了宝贵的实验数据和评估标准，有助于进一步提升视频试穿技术的性能和质量。
技术原理
- 纹理化 3D 指导 ：先通过单图像 3D 重建技术生成可动画化的纹理化 3D 网格，将 3D 网格与原始视频的姿态同步，为扩散模型提供显式的帧级指导，确保生成的试穿结果在外观和运动上的一致性，使服装能够自然地贴合人体的几何细节和运动状态。
- 动态 3D 指导管道 ：选择关键帧进行初始 2D 图像试穿，重建动画化纹理化 3D 网格，并优化 SMPL-X 参数，确保 3D 网格与人体姿态的精确对齐，从而实现对视频中每一帧的准确指导，提高了试穿效果的真实性和连贯性。
- 矩形掩码策略 ：防止服装信息泄露，避免在动态人体和服装运动中出现伪影。结合服装图像和试穿图像作为参考，提供上下文信息，增强生成效果，使服装的边界更加清晰自然，减少了不真实的视觉效果。
- 扩散模型架构 ：基于 Stable Diffusion，扩展 UNet 架构支持伪 3D 结构，基于时间模块集成，实现真实感的运动生成，减少对显式光流或变形操作的依赖，降低了计算复杂度，提高了生成效率和效果。
- 训练策略 ：结合图像和视频数据进行训练，基于随机选择数据类型平衡图像质量和时间一致性。用分类器自由引导策略，随机省略某些条件输入，增强模型的鲁棒性，使其能够更好地适应不同的输入情况和数据变化。
支持平台
3DV-TON 主要基于 Python 3.8 +、PyTorch 和 Diffusers 库等开发环境构建，并兼容 Gradio 与 Diffusers 库，可方便地在主流的深度学习框架和开发平台上进行部署和开发，为开发者提供了灵活的开发环境和工具支持，便于其根据实际需求进行定制化开发和集成应用。
团队介绍
3DV-TON 由阿里巴巴达摩院、湖畔实验室和浙江大学联合研发。阿里巴巴达摩院在人工智能领域拥有深厚的技术积累和强大的研发实力，湖畔实验室同样在相关领域具有领先的研究水平，浙江大学作为国内顶尖高校，在计算机科学与技术、人工智能等学科方面具有卓越的教学和科研成果。三者强强联合，为 3DV-TON 的研发提供了坚实的技术支撑和人才保障，使其在技术创新和应用实践方面具备了显著的优势。
项目资源
- 项目官网 ：https://2y7c3.github.io/3DV-TON/
- arXiv 技术论文 ：https://arxiv.org/pdf/2504.17414
- GitHub 仓库 ：https://github.com/2y7c3/3DV-TON
业务场景
- 电子商务 ：为 Shopify、Amazon 等电商平台生成动态服装试穿视频，让消费者能够更直观地查看服装的款式、细节和上身效果，从而提升消费者的购买意愿和信心，增加商品的销售转化率，减少因尺码或款式不合适导致的退货率。
- 虚拟时尚与元宇宙 ：支持 VR/AR 换装体验，用户可在虚拟环境中试穿各种数字服装，适配 Decentraland 或 Roblox 等元宇宙平台，为用户提供使用沉浸式的时尚体验，拓展了时尚产业的边界和商业模式。
- 影视与动画 ：为数字角色生成逼真的服装动画，降低影视制作、动画制作等领域的 CG 制作成本和时间，提高制作效率和质量，可应用于电影、电视剧、广告、动漫等作品中，提升视觉效果的真实感和吸引力。
- 个性化定制 ：结合用户上传的体型数据与服装图像，生成个性化的试穿视频，满足高端时尚定制需求，为用户提供更贴合自身特点的服装定制服务，提高用户对服装的满意度和忠诚度。
- 社交媒体营销 ：为 Instagram、TikTok 等社交媒体平台生成引人入胜的试穿内容，增强品牌与用户之间的互动和传播效果，吸引更多用户关注和参与，提升品牌的知名度和影响力，促进品牌的发展和推广。