联手服务计算专业委员会：“生成式时尚AI”术语发布 | CCF术语快线

InfoBox：

中文名：生成式时尚AI

外文名：Generative Fashion AI

学科：计算机科学与技术、软件工程、设计学

实质：智能设计服务

研究背景：

“衣、食、住、行”是人类社会生活的基本需求。中国作为“衣冠古国”，服饰文化已经成为我国优秀传统民族文化的重要组成部分。其不仅能够反应当前社会的发展现状，亦能传递大众的精神价值追求及思想文化底蕴。时尚界的潮流引领者，得“天时”、“地利”、“人和”，即具备市场所需的人口、购买力、购买欲望三大要素。当前，时尚界潮流的引领者主要是发达国家的连锁企业，因其能够快速把握流行趋势，制造受到大众追捧的快销时装。但是，未来服装行业的发展不再单纯依赖轻工业的发展，科技助力势在必行。随着物联网、人工智能和深度学习等为代表的新一代信息技术的发展，生成式时尚AI也随之兴起。

传统的时尚设计方法，单纯依赖人工或一些传统方法来生成图像，存在较大的局限性，这些方法效率低下、使用成本高、数据利用率低，从提出需求到设计完成无法做到实时，以及设计师停留在单一维度无法结合用户的个性化需求形成与上下文相关的产品等。生成式时尚AI，旨在时尚领域中打破传统需要人工辅助的繁琐设计流程，针对消费者个性化、精准度和实时性的强烈需求，通过对时尚数据的建模和分析，将不同领域、不同文化和不同风格的元素进行融合，创造出新的设计概念和形式，用以帮助设计师了解消费者需求和市场趋势，为设计师提供灵感和指导。

生成式时尚AI的基本内涵与技术框架：

“生成式时尚AI”是将设计师的创意思维和计算机的计算能力相结合，实现高效，精准以及更具创新性的新业态，其融合不同领域的知识精华，来提供更具创造性的设计成品，从而满足用户个性化和多样化的需求。尤其是扩散模型、生成对抗网络、变分自编码器等新兴技术的涌现，使设计出“智能化”和“创造性”的需求进一步的成为了可能，进一步促进了生成式时尚AI在各个产业链的应用价值。

生成式时尚AI的典型案例众多，有智能定制化、智能穿戴和3D打印时装设计等。下面以智能定制化为例，详述生成式时尚AI的内涵。智能定制化将新兴的人工智能技术应用到服装定制中，首先通过深度学习技术对时尚图像的视觉内容进行结构化理解和特征解耦，分别获取时尚图像的文本描述信息、颜色特征表达、纹理特征表达和形状特征表达；然后，将这些特征表达进行联合协同表示，构建多模态时尚领域的知识库，进而兼做可以在时尚设计的过程中的先验指导和后验逻辑。同时，为了据用户的需求、喜好和身体数据，实现个性化的服装设计和生产，生成式时尚AI模型需要满足用户与模型的交互式反馈，例如将动作识别、手势识别和语音识别等技术融入到时尚设计中，可以使用户通过手势和身体姿态、手绘草图或者语音命令去控制衣服的颜色和图案等，提高用户与智能设计模型的交互性和可玩性。最后，生成式时尚AI模型通过视觉内容表达学习到的服饰内部特征与用户需求表达的外部特征进行关联表征，实现跨域表示空间建模以及精准的信息传递与融合。

生成式时尚AI的目标是实现“智能”、“创新”和“定制”，从技术方面来说，需要实现跨域知识之间的 “灵感迁移”(transfer)、“知识融合”(integration)和“交互设计”(interaction)。

灵感迁移：生成式时尚AI需要将设计学领域的知识进行迁移，例如布料、色彩和人体形态等视觉性知识，同时还需要对大自然传递的丰富的色彩和纹理灵感进行建模与迁移。例如，模仿大自然中的山脉、水纹、树木等自然地理纹理进行解构主义设计，让模型学习到现实中设计师找寻灵感的方式，使打造出的纹理具有斑驳的地质形态效果与较强的肌理感，使时尚智能模型做到生物学和设计学之间的完美迁移。

知识融合：对不同领域学习到的知识进行融合，是生成式时尚AI实现的前提。生成式时尚AI需要将不同领域的视觉内容进行特征表达与解耦，用以建立模型自身需要的知识库和数据库，进而将不同领域的知识进行整理和分类，建立时尚知识体系，以便实现更好的知识融合和应用，从而创造出更具“创造性”的设计成品。

交互设计：现实中的设计工作往往具有极强的主观色彩，而交互往往是表达设计人员思想的重要方式。生成式时尚AI模型的目的是通过用户交互以可控的方式设计出丰富的时尚服饰。例如，用户用语音表达出自己想要的服饰特征，那么首先需要利用语音转文字的模型首先获得文本特征表达；其次，模型利用这种文本特征进行语义分析，生产出相应的设计成品。同时，模型也应满足用户手绘输入图形信息来设计对应的成品，例如，设计师通过手绘草图，选择颜色信息，模型能够迅速绘出多样性的时尚设计成品。

相对于传统的辅助设计软件，生成式时尚AI存在几个挑战：灵感知识的获取与迁移、视觉与语义信息融合以及交互的多样性和个性化。

灵感知识的获取与迁移：获取和迁移灵感性知识需要跨越多个领域以获取大量的数据和信息。这个过程需要克服不同领域之间的概念差异和语义鸿沟，所以需要开发更先进的迁移技术来搭建不同领域之间的桥梁。

视觉与语义信息融合：视觉信息和语义信息在数据结构的底层特征上是异构的，生成式时尚AI模型的需要对提取的异构和碎片化知识进行集成与表达，通过发现这些不同信息之间关联与规则，实现知识的互补与融合，从而实现创意性的智能设计。

交互的多样性和个性化：在与用户交互方面，理解用户的意图是首要挑战，用户可能会用自然语言描述所需的时尚款式，生成式时尚AI需要具备强大的语言理解能力，以理解自然语言的多样性和复杂性。

研究概况：

近年来，随着互联网大数据和人工智能的不断发展，人们在时尚领域的视觉内容智能生成问题上投入了大量研究。为了将纹理信息融入到时尚图像中，Xian[1]等人提出了一种方法，通过从真实图像中获取的纹理和草图来约束像素对应关系的不确定性。许多基于纹理生成时尚图像的方法都过度依赖真实服饰图像的二值图，为了约束生成范围，防止图像边缘溢出，文献[2]提出了一个基于输入条件的双向特征变换机制，然而，该机制过于依赖输入信息，当纹理信息与草图信息发生冲突时，生成的时尚图像并不理想。

近期，哈尔滨工业大学（深圳）计算机科学与技术学院张海军教授实验室在“生成式时尚AI”领域做出了很多创新性的贡献。该团队的文章在2019 年发表于“Neurocomputing”杂志上，题为“Toward AI fashion design: An Attribute-GAN model for clothing match”[3]，成功实现了兼容性生成式时尚 AI 生成。文章利用上衣时尚图像携带的属性信息和时尚图像传递的视觉信息，判断上衣图像与下衣图像之间的搭配兼容度，从而设计生成搭配的上下衣。然后，针对一对多的服饰搭配关系，他们在“IEEE Transactions on Neural Networks and Learning Systems”上提出了“Learning to Synthesize Compatible Fashion Items Using Semantic Alignment and Collocation Classification: An Outfit Generation Framework”[4]，实现了面向集合形式的时尚搭配图像生成方法。为了进一步实现多对多的服饰搭配，该团队在“IEEE Transactions on Multimedia”上提出了“Coutfitgan: learning to synthesize compatible outfits supervised by silhouette masks and fashion styles”[5]，该研究聚焦于利用多种时尚风格和服饰掩码实现多件服饰对多件服饰的生成。该团队在“IEEE Transactions on Multimedia”杂志上发表了题为“Toward intelligent design: An ai-based fashion designer using generative adversarial networks aided by sketch and rendering generators”的文章[6]，研究时尚单品的设计生成。该文章提出草图生成网络辅助设计师进行草图设计，提出渲染生成网络辅助设计师进行颜色或纹理填充，实现了初步的辅助设计生成。

研究趋势：

生成式时尚AI是当下信息技术和时尚设计领域的交叉融合，是将智能技术引入到时尚设计中，提高时尚设计的智能化、个性化和定制化水平的一种新兴领域。生成式时尚AI不仅可以为用户提供更加个性化的定制化服务，还可以通过智能化的生产流程降低生产成本和减少资源浪费。未来，生成式时尚AI的研究重点可从以下四个方面进行深入研究。

1）生成式时尚AI视觉特征的深度解耦：视觉信息是进行创造性智能设计的关键，然而，视觉特征往往存在着高度的抽象性和语义性，研究如何对视觉信息进行解耦与重构，揭示时尚图像的视觉信息特征表示规律是未来研究的重点。

2）与用户的交互设计方式：普通不具有专业设计知识的消费者和设计师输入模型的信息具有一定的多样性，可以是文本、图像、姿势和语音等等，生成式时尚AI模型需要充分的理解这些需求，并能够将这些需求转化为模型所需要的参数，快速地针对性地进行图像生成，并且对用户提供及时的反馈和建议。

3）AI大模型与时尚知识的高效融合：AI大模型可以通过学习大量数据和知识来更好地理解和表达知识中的内容。将时尚知识作为AI大模型的先验特征，用以辅助时尚内容的生成和增强，将更好地引领AI生成模型为时尚领域中的设计和创意提供更多的灵感和支持。

4）数智化时装元宇宙的构建：构建数智化元宇宙，将时尚设计与元宇宙中的场景相结合，通过利用人工智能技术对海量的时尚数据进行分析和挖掘，为不同场景和需求提供个性化的时尚方案。例如，在不同的场景下，智能算法可以根据用户的身形、喜好、气质等因素，为用户提供合适的服装搭配和配饰推荐等服务。通过场景化的时尚智能设计，用户可以更加轻松地获得符合自己需求的时尚方案，提高时尚体验的舒适度和满意度。

参考文献

[17]Lee J, Kim E, Lee Y, et al, “Reference-based sketch image colorization using augmented-self reference and dense semantic correspondence,” Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (CVPR), 2020, pp. 5801-5810.