写在最开始:以下仅是个人爱好,仅是学习使用,不用于任何商业用途!我们一定要支持正版,切勿做盗取他人知识产权违规犯法的事情!!!
我,一不小心搞了一个自己的“妙鸭”,事情还要在我发现妙鸭APP开始(其实也就是上周啦),因为我太好奇了,即使我相册凑不够20张图,即使9.9元付费(说真的哪怕收费29.9元,我这好奇心害死猫的心态也会付费试一试),然后就一发不可收拾了!!!
先来给不知道妙鸭的人说一下,我理解的妙鸭是一款私人定制写真类型的APP,用户上传自己的20张图片,APP会根据用户的肖像生成定制的数字人,然后就可以生成各种场景模板的“艺术写真”(参考官方图)
咱们按照步骤来,我先上传了20张我的照片(好不容易找的图,为什么这里只展示了18张呢,是因为我实在忘记还差哪两张了),这些图高矮胖瘦的都是我,没有照片婚纱照凑,和我老公是合影把他裁掉,有一些都是我高度P过的(我的大方脸恨不得P成锥子脸),就是这样平平无奇的20张图:
然后我就开始了拼命生成图、生成图、生成图
正在我疯狂出图的瞬间,我反应过来,不对呀,我自己不就是一个图像算法工程师嘛,我也得开搞,说搞就搞!同样这20张图:
- 先去C站找了一个人物写实的大模型;
- 在此基础上用这20张图训练了一个自己的lora,起名就叫myself(就是这么简单粗暴);
- 想要快速出图,只能先借用妙鸭的模特用一用了,直接把模特截图作为我image-to-image的模板,先反推出提示词;
- image-to-image,输入提示词,重绘幅度0.5,选择基础大模型,选择我的Lora: myself,按照我XY推理出来的最佳参数设置;
- 后处理:Real-ESRGAN超分+GFPGAN(小修一下人脸,人脸修复参数要小,GFPGAN用来处理高压缩、噪声、模糊的人脸效果好,对于本身人脸就清晰的,就小修一下,参数小一点,参数大了生成的人脸容易不像自己了)
多说无益,直接看效果(为了输出妙鸭的高清图,我又花了4颗钻石,心疼疼):
因为我投机取巧嘛,直接和原始模板是一样的造型,只是换了我的脸,中间妙鸭这个我已经点了好几次再像我一点了,但是确实我自己觉得还是一些些不像。我可太喜欢我生成的我的证件照了,这张证件照我已经让它转正了!!!
再给大家看一组图,妙鸭对我的牙齿总是做不好,我使用myself的lora进行了脸部调整,一方面长相更加像我,另一方面我觉得细节更加丰富了:
至此我找到了不用再拍照也依然美美哒的方法,当然摆脱妙鸭模板,我可以自己生成模板呀,先文生图生成一个我想要的模板,比如七夕当天,我输入了:女孩,红玫瑰,半身照,面向镜头,纯色虚化背景,白色T恤,高画质,写真,然后文生图生成了模板,直接给出对比图
回过头来,这里面可以操作的地方太多了,比如:
- 训练之前可以预处理,磨皮、美颜、瘦脸搞一搞,淡妆搞一搞,滤镜搞一搞,让训练样本就又像自己又漂亮;
- 处理完后处理,基本的高清放大,人脸修复,还可以自动匹配假睫毛啊,眼线啊,淡妆啊这些可以让生成人像更加有气质;还可以加一些提高氛围感的滤镜,或者有对应的lora也可以;
- 两个设计两个分身,设计双人模板(闺蜜照、结婚证件照),然后可以设计lora分区编辑,男性lora1,女性lora2,或者左边任务lora1,右边人物lora2这样的;
- 提前训练好背景lora,或者造型lora,结合人脸lora一起使用,比如天使、魔鬼、花仙子啊;
当然了我这种直接使用模板的行为不可取!!!但是有一个模板进行引导真的好用而且好控制(关于模板引导,我真有一个好主意,打算下一篇文讲,嘿嘿),如果让生成的内容尽可能不和模板这么相似只是姿态形似,可以使用controlnet搭配一下,比如openpose啊,HED边缘检测啊,人脸关键点啊这些控制一下姿势,然后重绘幅度就可以再开大一点了。