服饰试穿开源&商业.pdf

1、服饰试穿开源&商业于诚通义实验室虚拟试衣AIGC技术负责人服饰试穿开源&商业于诚通义实验室虚拟试衣AIGC技术负责人Garment Try-onOpen Source&CommercialTECH SessionContents目录0101需求分析与技术拆解0202魔搭FaceChain方案0303商业化产品方案0 04 4未来研发计划需求分析与技术拆解0101服饰试穿需求与技术分类保人物ID保服饰ID输入用户图输入服饰图试穿结果输入用户图输入服饰图试穿结果局部保ID 服饰内容与输入完全一致 可用于商家模特图生成与展示形变保ID 人物ID和姿态与输入一致 可实现更灵活的定制化服装搭配基于局部保

2、ID的服饰试穿技术方 法结果：结 果基于局部保ID的服饰试穿技术方 法结果：结 果 更忠实于给定的服饰 Clip的Patch Token和VAE编码后的特征作为condition 更贴合于给定的用户 Pose Map与服饰的混合特征做Attention，以此对服饰特征做微调CAdapterCls TokenPatch TokenAttVAEVAEVAECLIPEncSDFreezeTrained给定用户给定服饰结果魔搭FaceChain方案0 02 2基础能力共通Stable diffusion+LoRA+ControlNet基础模型人脸/人体相关基础能力构建环境生态共建AI生态：SD Web

3、UI插件、agent LUI、ChatGPT插件等系统生态：windows适配、mac适配等核心技术共享人物保ID技术像风格与背景扩展能力美inpaint技术支持自然性与真实感应用场景共拓保服饰个性化人物写真人物视频生成等进一步应用场景服饰试穿与人像写真结合点分析基于魔搭创空间的服饰试穿开源体验基于platform for Ai的服饰试穿开源体验商业化产品方案0 03 3专属形象创建上传形象3模板选择/自定义人台图重绘上传服饰确定重绘区域可形变试穿上传服饰确定试穿区域生成试穿图形象1形象2试穿结果展示历史结果保存生成试穿图服饰试穿产品用户界面服饰试穿产品接口设计风格LoRA训练接口风格LoRA

4、模型B端自定义背景提示词模板库B端自定义风格LoRA模型B端风格训练数据预设风格模板用户自定义背景提示词用户上传服饰图像服装试穿推理接口用户上传人物图像人物LoRA模型人物LoRA训练接口交互控制参数服装试穿结果素材交互控制交互模板用户数据B端数据接口未来研发计划0 04 4人物视频/连环画生成个性化服饰搭配推荐人物/风格/服饰广义物体写真局部内容编辑无限风格计划无限生态计划技术透出与影响力建设未来研发计划魔搭FaceChain共建广义物体LoRA进一步应用应用示例：基于广义物体LoRA的个性化服饰搭配专属形象创建姿态控制形象1形象2个性化服装搭配上传创建选择推荐上装创建选择推荐下装创建选择推荐外套创建选择推荐连衣裙模板1模板2个性化饰品搭配创建选择推荐首饰创建选择推荐物品查看并确认服饰个性化试穿结果商品清单THANKS