ClotheDreamer

官网介绍

ClotheDreamer: Text-Guided Garment Generation with 3D Gaussians是一个由上海大学、上海交通大学、复旦大学和腾讯优图实验室联合开发的创新项目。该项目由Yufei Liu、Junshu Tang、Zheng Chu、Shijie Zhang、Jinkun Hao、Junwei Zhu和Dongjin Huang共同研发，旨在通过文本描述生成高质量、可穿戴的3D服装资产。ClotheDreamer采用3D高斯模型方法，能够从文本提示中生成可直接用于生产的3D服装资产，为数字虚拟形象创建提供了全新的解决方案。相关论文已在arXiv上发布，代码即将开源。

核心功能特点

文本引导的3D服装生成

ClotheDreamer能够基于文本描述生成高保真、可穿戴的3D服装资产。用户只需提供服装的文本描述，系统即可自动生成对应的3D模型，极大简化了3D服装设计流程。

分离的服装高斯喷涂(DCGS)

创新性地提出了分离的服装高斯喷涂(DCGS)表示方法，将穿着服装的虚拟形象表示为一个高斯模型，但冻结身体高斯喷涂，实现了服装与身体的分离优化，提高了生成质量和效率。

双向SDS监督机制

引入双向Score Distillation Sampling(SDS)机制，分别监督穿着服装的虚拟形象和服装RGBD渲染，结合姿势条件，有效提升了生成服装的质量和完整性。

宽松服装修剪策略

针对宽松服装提出了新的修剪策略，解决了宽松服装生成过程中的质量问题，确保各类服装都能获得高质量的生成效果。

自定义服装模板支持

支持将自定义服装模板作为输入，增强了系统的灵活性和适用性，能够满足不同场景下的个性化需求。

应用场景

• 数字虚拟形象创建：为游戏、社交平台和虚拟世界中的数字角色提供高质量服装，丰富虚拟形象的多样性。
• 虚拟试穿：生成的3D服装可以轻松应用于虚拟试穿系统，让用户在购买前直观地看到服装上身效果。
• 物理精确动画：支持物理精确动画，为影视制作、游戏开发等领域提供逼真的服装动态效果。
• 电商平台展示：在线购物平台可利用该技术为商品提供3D展示，提升用户购物体验。
• 游戏开发：为游戏角色快速生成各种风格的服装资产，降低游戏开发成本，加快开发进度。
• 影视制作：为影视角色创建服装，支持后期制作中的各种特效和场景需求。
• 元宇宙应用：为元宇宙中的虚拟形象提供多样化的服装选择，丰富元宇宙社交体验。
• 服装设计：辅助服装设计师快速将创意转化为3D模型，缩短设计周期，降低样品制作成本。

优势

ClotheDreamer相比现有方法具有多项显著优势：首先，它实现了与人体的解耦，不像其他基于扩散的方法那样与人体复杂耦合；其次，解决了现有方法难以重用的问题，生成的服装资产可以灵活应用于不同场景；第三，通过双向SDS和新的修剪策略，极大提升了生成服装的质量和完整性；第四，支持自定义服装模板输入，增强了系统的灵活性；最后，生成的3D服装可以轻松应用于虚拟试穿并支持物理精确动画，具有广泛的实用性。

价值总结

ClotheDreamer为3D服装生成领域带来了革命性的突破，其核心价值在于降低了高质量3D服装资产的创建门槛，使非专业人士也能通过简单的文本描述生成专业级别的3D服装。该技术不仅提高了3D服装设计的效率，还拓展了数字内容创作的可能性，为数字虚拟形象创建、虚拟试穿、游戏开发、影视制作等多个领域提供了强大的技术支持。通过实现文本到3D服装的直接生成，ClotheDreamer有望在数字经济和元宇宙发展中发挥重要作用，推动相关产业的创新与发展。

用户体验与优势

ClotheDreamer提供了直观且高效的用户体验，用户只需提供简单的文本描述即可生成复杂的3D服装资产，无需掌握专业的3D建模技能。系统支持多样化的服装风格和类型，从休闲装到正式礼服，从简单T恤到复杂的花纹连衣裙，都能高质量地生成。生成的服装资产可以直接应用于各种下游任务，如虚拟试穿、动画制作等，无需额外的复杂处理。此外，系统支持自定义服装模板，允许用户根据特定需求进行个性化创作，进一步提升了用户体验和创作自由度。

技术优势

ClotheDreamer在技术上具有多项创新：创新性地提出了分离的服装高斯喷涂(DCGS)表示方法，实现了服装与身体的分离优化；引入双向SDS机制，结合姿势条件监督，有效提升了生成质量；针对宽松服装设计了新的修剪策略，解决了特定类型服装的生成难题；基于3D Gaussian的表示方法，相比传统方法具有更高的效率和质量；与现有扩散-based方法相比，避免了与人体的复杂耦合，提高了模型的灵活性和可重用性。这些技术创新共同使ClotheDreamer在3D服装生成领域取得了显著的性能优势，为相关应用场景提供了强大的技术支持。