DeepFaceLab 近期更新概要,“整脸”来袭!

2020年2月3号之后,Iperov同志沉浸了一小段时间。不过,没多久又进入了疯狂更新的状态。目前已经发布了28号(今天)的版本。

我这里先拎几个重点。

1. 修复眼神诡异或者乱飘的问题。

使用DFL2后,不少人发现眼神上的问题,具体的体现有眼神完全不同步(当然有些人是素材不够),还有一种是眼神很诡异,感觉变异了一样。

针对这两种情况,软件进行了改进。具体有多大改善,还有待观察。

2. AI换脸+AE特效的“整脸”模型

继半脸,全脸,中脸,之后又添加了新的一种脸型Whole_Face,这个其实可以简称为“全脸” ,但是因为之前已经有一种FUll_FACE , 为了区别我觉得翻译成“整脸” 比较好。这个类型,最大的功能就是解决额头的问题。

但是…这是一个半成品,需要结合AE才能做出完整的效果。简略教程参见上图,具体使用方法,可以关注后续文章。

3. 256提升到512。

因为出了全脸之后,引发的蝴蝶效应。原先我们提取的图片都是256×256像素,现在因为需要处理整个脸部,所以提升了头像尺寸,扩到了512×512。同时把训练模型像素的最大值也改到了512(32G,V100听完后瑟瑟发抖,说了句:告辞)。 虽然多个地方的size都改大了,但是并不意味着你的显卡能跑出更好的效果…

还有安装包是越来越大了…

最近三次更新的主要内容应该就是这些了,具体更新记录如下:

2020年2月28日

Extractor:

提取

image size for all faces is now 512

提取的图片尺寸从256提升到512

fix RuntimeWarning during the extraction process

修复提取过程中出现RuntimeWarning的问题。

SAEHD:

max resolution is now 512

模型参数中,最高像素改成512(32G V100同样表示玩不起)

fix hd arhitectures. Some decoder’s weights haven’t trained before.

修复HD架构,之前一些解码器权重没有被训练到。

new optimized training:

新的优化训练

for every <batch_size*16> samples,

对于每个<batch_size*16>样本,

model collects <batch_size> samples with the highest error and learns them again

模型收集误差比较大的样例进行重新学习。

therefore hard samples will be trained more often

因此,比较难的样本被训的更狠。

‘models_opt_on_gpu’ option is now available for multigpus (before only for 1 gpu)

“models_opt_on_gpu”选项现在可用于多显卡(以前仅用单显卡)

fix ‘autobackup_hour’

修复“自动备份时间”

2020年2月23日

SAEHD: pretrain option is now available for whole_face type

SAEHD: 预训练支持“整脸”

fix sort by abs difference

修复abs差异排序

fix sort by yaw/pitch/best for whole_face’s

修复整脸的yaw/pitch/best排序。

2020年2月21日

Trainer: decreased time of initialization

训练:减少初始化时间

Merger: fixed some color flickering in overlay+rct mode

合成:修复overlay+rct模式下的一些闪缩的问题。

SAEHD:

added option Eyes priority (y/n)

添加眼部优先选项

Helps to fix eye problems during training like “alien eyes”

有助于在训练过程中解决“异形眼”

and wrong eyes direction ( especially on HD architectures )

和眼神不对的问题(尤其是在HD架构上)

by forcing the neural network to train eyes with higher priority.

通过强制神经网络以更高的优先级来训练眼睛。

before/after https://i.imgur.com/YQHOuSR.jpg

之前/之后

added experimental face type ‘whole_face’

添加试验性脸型“整脸”。

Basic usage instruction: https://i.imgur.com/w7LkId2.jpg

基本用法说明:

‘whole_face’ requires skill in Adobe After Effects.

整脸需要 AE技能

For using whole_face you have to extract whole_face’s by using

使用整脸你必须提取整脸图片,通过以下两个脚本。

4) data_src extract whole_face

and

5) data_dst extract whole_face

Images will be extracted in 512 resolution, so they can be used for regular full_face’s and half_face’s.

图片会按512像素进行提取。他们同样也适用于常规的全脸和半脸。

‘whole_face’ covers whole area of face include forehead in training square,

整脸涵盖脸部的整个区域包含额头。

but training mask is still ‘full_face’

但是训练遮罩依旧是全脸

therefore it requires manual final masking and composing in Adobe After Effects.

因此需要你通过AE手动遮罩和合成。

added option ‘masked_training’

添加遮罩训练

This option is available only for ‘whole_face’ type.

这个选项仅适用于整脸

Default is ON.

默认开启

Masked training clips training area to full_face mask,

遮罩训练可以把训练区域剪辑到全脸遮罩。

thus network will train the faces properly.

这样网络就可以正确训练脸部

When the face is trained enough, disable this option to train all area of the frame.

当训练足够多的时候,关闭这个选项,让网络去训练所有区域。

Merge with ‘raw-rgb’ mode, then use Adobe After Effects to manually mask, tune color, and compose whole face include forehead.

使用Raw-rgb模式合成,然后使用AE手动遮罩调整颜色,然后合成,这样额头也能被换掉。

更多更新内容请看:https://www.deepfaker.xyz/?page_id=1604

最新版见672316851群文件,据说转发一下可以极速下载哦!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,539评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,911评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,337评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,723评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,795评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,762评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,742评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,508评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,954评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,247评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,404评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,104评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,736评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,352评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,557评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,371评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,292评论 2 352

推荐阅读更多精彩内容