Face Aging with Conditional Generative Adversarial Networks

使用条件对抗生成网络的人脸老化
摘要:
最近对抗生成网络表明它可以生成具有非凡的视觉忠实度图片。在本文中,我们提出了基于对抗生成网络的方法来自动的进行人脸老化。与之前的文献使用对抗生成网络来转换脸部的属性相反,我们特别强调在老化的他/她的人脸上保留原始的人脸身份信息。为此,我们引入了新的方法来对对抗生成网络的隐藏向量进行身份保留优化。通过先进的人脸识别和年龄估计方案对于生成的老化和变年轻的人脸图片的评估表明提出的方法具有很大的潜力。
全文:https://arxiv.org/abs/1702.01983

这篇文章提出的人脸老化的GAN的架构如下:


网络架构[图片上传中...(2.png-74809b-1516265388225-0)]

生成老化的人脸的部分,就是右边部分(b),就是一个条件GAN的形式,输入人脸的特征feature map z,以及年龄标签y,以此生成对应年龄标签的老化的人脸。文章并没有把重点落在优化生成的图片上,而是落脚这个输入的人脸特征z上。
GAN本身优化的loss如下

其中y为年龄标签,他们将年龄分成6组,分别对应年龄的区间0-18,19-29,30-39,40-49,50-59和60岁以上。所以上面的y标签为6*1的向量。
然后重点落在了特征保留的提取上,在预训练的GAN中,给出feature map和y标签,就能生成feature map对应的人的y对应年龄的图片。但作者要求对于原始的输入人脸图x提取的feature map和其对应的y0标签,同样在generator中,能重构该人y0年龄的原始的图片。也就是上图结构中的Encoder,这个Encoder来获取feature map,并通过优化如下问题:



来确保输入的x,和重构的x(应该是上划线的)提取特征是保持一致的。而优化上述问题采用的是L-BFGS-B算法(见论文Richard H Byrd, Peihuang Lu, Jorge Nocedal, and Ciyou Zhu, “A limited memory algorithm for bound constrained optimization,” SIAM Journal on Scientific Computing, vol. 16, no. 5, pp. 1190–1208, 1995.)

论文实验使用的数据集是IMDB-Wiki cleaned数据集(来源Grigory Antipov, Moez Baccouche, Sid-Ahmed Berrani, and Jean-Luc Dugelay, “Apparent age estimation from face images combining general and children-specialized deep learning models,” in Proceedings of Computer Vision and Pattern Recognition Workshops, Las Vegas, USA, 2016.)

实验设计首先验证的是身份保留的问题,采用的OpenFace软件(https://cmusatyalab.github.io/openface/),这个软件是判定两个给定的人脸是否属于同一个人,以此来判断重构的和原始的人脸是否一致。然后文章给出了部分人脸老化或者年轻化的结果。
结论是,可以研究融合逐像素的身份保留方法和文中的身份保留的方法,以取得更好的重构效果,来提升人脸老化后,保留原始人脸身份信息的能力。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,542评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,596评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,021评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,682评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,792评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,985评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,107评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,845评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,299评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,612评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,747评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,441评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,072评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,828评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,069评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,545评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,658评论 2 350

推荐阅读更多精彩内容