近日,一项名为IDM-VTON的虚拟试衣技术引起了广泛关注。这项技术能够生成高度真实的虚拟试衣图像,其细节处理之精细,令人赞叹不已。
IDM-VTON技术的核心在于其对服装细节的精准捕捉。无论是纹理、图案还是缝线,这些细微之处都能在试衣图像中得到准确的再现。这种对细节的高度还原,使得用户在试衣时能够更加真实地感受到衣物的质感和设计。
注:一键包较大,安装包20G左右,解压出来30G左右,请确保有足够的磁盘空间。
显卡要求也较高,建议N卡12G显存起使用。如没有硬件,可以使用在线体验,在帖子下方有地址。
先看两张官方的演示动图
测试了几天,效果是真的好,比之前的 Anydoor 无论效果还是操作要好很多,而且不用像之前的项目,手动画衣服遮罩范围。这个大部分直接自动识别。
我用RTX3060 12G显存实测下来,出一张图要12分钟。实在太吃显卡了,看了网上的评测,这项目在3090和4090等高端卡出图很快,几十秒就能出来。
光说不练不行啊
下面简单说下使用方法:
操作很简单,首先上传一张图片,就是模特图片
然后上传一张需要换的衣服的图,建议图片尺寸768*1024,最好是3:4的比例,如果尺寸是正方形的,就要勾选下方的“自动裁切”
模特图下方有几个工具按钮,主要是手动画遮罩的笔刷和橡皮工具,如下图,分别是返回照片场景、裁切、笔刷、橡皮
如果是简单的衣服场景,可以先用“自动遮罩”功能,默认是勾选的,能自动识别大部分常见的衣服,无需手动画,如下图
服装图下方,有个温馨的功能提示词区域,可以手动输入提示词,帮助程序更精准的识别衣服,比如输入 Dress,就是告诉AI,这是连衣裙,如下图
所有参数设置完成后,就可以直接点下方的“试穿”按钮,接下来就是漫长的等待了,根据自己的显卡,时间从几十秒到十几分钟不等。
最终出来的效果还是很赞的,如下图
注:上图换的是白色T恤,因为中途我为了演示,所以服装换了红色连衣裙。
目前项目加载的模型太多,加载速度和生成速度都略慢,看来还需要很多优化,期待作者早日解决这些问题。
如果你没有硬件条件使用,可以访问下方网址在线体验,需要魔法上网。
试用地址:https://huggingface.co/spaces/yisol/IDM-VTON
试用了几轮下来,换装效果的确不错,但也有一些瑕疵,比如换装后有时会出现大花臂、衣服上的字体没有很好地还原、手部变形。
上面展示的虚拟试衣技术由韩国科学技术院 (KAIST) 、 OMNIOUS.AI 共同打造,他们提出了一种新型扩散模型,该技术在提高服装保真度的同时,还能生成真实的视觉效果。
技术特点:
高度真实感: IDM-VTON生成的试衣图像细节精细,为用户带来接近现实的试衣体验。
复杂背景处理: 即便在户外或背景复杂的场景中,该技术也能准确展示衣物的试穿效果,保持图像的高质量。
一致性保持: 在不同人物模型上展示同一件服装时,IDM-VTON能够保持服装细节的一致性,确保无论在何种体型或姿态下,服装的呈现效果都保持高度一致。
纹理与图案精确再现: 该技术特别擅长捕捉服装的纹理和图案,即使是最微小的装饰也能在试衣图像中得到准确反映。
应用场景:
IDM-VTON的虚拟试衣技术可以广泛应用于时尚零售、个性化服装设计、在线试衣间以及增强现实(AR)试衣体验等多个领域。它不仅为消费者提供了便捷的试衣方式,也为服装设计师和零售商提供了一种全新的展示和销售手段。
技术优势:
用户无需亲自试穿,即可预览服装在不同场景和不同体型上的效果。
零售商可以节省实体试衣间的成本,同时提供更多样化的试衣体验。
设计师可以通过虚拟试衣快速获取反馈,优化服装设计。