深度学习领域“四大天王”
在现代人工智能领域,所有的道路似乎都绕不开三位与加拿大大学有联系的研究人员。
首先,在多伦多大学任教的70岁英国人 Geoffrey Hinton开创了一个名为“深度学习”的分支学科,这个分支学科已成为人工智能的同义词;其次,57岁的法国人Yann LeCun,80年代在辛顿实验室工作,现在纽约大学任教。第三个,54岁的Yoshua Bengio,出生在巴黎,在蒙特利尔长大,现在蒙特利尔大学任教。
这三个人是亲密的朋友和合作者,所以AI领域的人戏称他们为“加拿大黑手党”。
LeCun是Hinton的博士生,另一位人工智能大师Jordan曾经申请过Hinton的博士生,Bengio是Jordan的博士后,Andrew Ng是Jordan的博士生,LeCun与Bengio曾经是同事。这几位大师互相之间有着很深的渊源。
1 神经网络之父 Geoffrey Hinton 杰弗里·辛顿
Geoffrey Hinton,被称为“神经网络之父”、“深度学习鼻祖”,他曾获得爱丁堡大学人工智能的博士学位,并且为多伦多大学的特聘教授。在2012年,Hinton还获得了加拿大基廉奖(Killam Prizes,有“加拿大诺贝尔奖”之称的国家最高科学奖)。2013年,Hinton 加入谷歌并带领一个AI团队,他将神经网络带入到研究与应用的热潮,将“深度学习”从边缘课题变成了谷歌等互联网巨头仰赖的核心技术,并将HintonBack Propagation(反向传播)算法应用到神经网络与深度学习。
现在的Hinton:一半归多伦多大学,一半归Google大脑
现在,Geoffrey Hinton一半时间在多伦多大学教书,一半时间在 Google建设神秘的Google大脑。
从外貌上看,Geoffrey Hinton教授有着所有英国学者的典型特征:一头蓬乱的头发,皱巴巴的衬衫,衬衫前口袋里还插着一排圆珠笔,守着一个巨大且脏乱的白板,白板上写满了各种复杂难解的方程式。他的办公室里根本没有座椅,69岁的Hinton教授喜欢一直站着。
虽然他看起来可能有些古怪,但对他办公室外的那些年轻的人事物而言,Hinton是一种类似于神级的存在:他被人们誉为“人工智能(AI)教父”,而这项已经引发全球性变革的新技术背后,与其聪明才智密不可分。
他过去带过的学生已陆续被硅谷挖走,分别在苹果、Facebook和Google这类的科技巨头公司里领导着人工智能领域的研究工作,而他自己也被Google聘请为公司副总裁,主管工程设计部门。在接下来的几个月里,他将执掌多伦多新募集了1.8亿美元资金的人工智能研究所Vector Institute,以期巩固这座城市在人工智能领域作为全球领导者的地位。
尽管在北美呆了这么多年,Geoffrey Hinton教授仍旧操着一口标准的英式口音说道:“被称为‘教父’,我感觉有一些难为情。”
他笑着表示:“我对我自己的数据有一种里根式的笃信。”而正是Geoffrey Hinton对自己的工作成果不可动摇的信念,促使他从学术生涯多年的不得志走到了当前最热门的AI前沿。
Hinton教授是机器学习的开创者,使得计算机可以独立想出程序、自己解决问题。特别重要的是,他还从中开辟了机器学习的一个子领域,即所谓的“深度学习”,也就是让那些机器像一个蹒跚学步的孩子一样,模仿大脑的神经网络形式。
这意味着计算机可以自动构建一层层智慧网络。随着近年来非常强大的处理技术的出现,这种深度学习框架经历了巨大的变革,现已成为主流方法:从我们的智能手机中的语音识别模式到图像检测软件再到亚马逊为用户推荐购买哪本图书,全都离不开深度学习。
2 卷积网络之父 Yann LeCun(杨立昆,延恩·勒昆)
在人工智能研究领域,Yann LeCun、Geoffrey Hinton 和 Yoshua Bengio一直被公认为深度学习三巨头。
Yann LeCun,自称中文名“杨立昆”,计算机科学家,被誉为“卷积网络之父”,为卷积神经网络(CNN,Convolutional Neural Networks)和图像识别领域做出了重要贡献,以手写字体识别、图像压缩和人工智能硬件等主题发表过 190 多份论文,研发了很多关于深度学习的项目,并且拥有14项相关的美国专利。他同Léon Bottou和Patrick Haffner等人一起创建了DjVu图像压缩技术,同Léon Bottou一起开发了一种开源的Lush语言,比Matlab功能还要强大,并且也是一位Lisp高手。(Backpropagation,简称BP)反向传播这种现阶段常用来训练人工神经网络的算法,就是 LeCun 和其老师“神经网络之父”Geoffrey Hinton 等科学家于 20 世纪 80 年代中期提出的,而后 LeCun 在贝尔实验室将 BP 应用于卷积神经网络中,并将其实用化,推广到各种图像相关任务中。
Yann LeCun 也是Facebook人工智能研究院院长,纽约大学的 Silver 教授,隶属于纽约大学数据科学中心、Courant 数学科学研究所、神经科学中心和电气与计算机工程系。加盟Facebook之前,Lecun已在贝尔实验室工作超过20年,期间他开发了一套能够识别手写数字的系统,叫作LeNet,用到了卷积神经网络,已开源。他在 1983 年在巴黎 ESIEE 获得电子工程学位,1987 年在 Université P&M Curie 获得计算机科学博士学位。在完成了多伦多大学的博士后研究之后,他在 1988 年加入了 AT&T 贝尔实验室(AT&T Bell Laboratories /Holmdel, NJ),在 1996 年成为 AT&T Labs-Research 的图像处理研究部门主管。2003 年,他加入纽约大学获得教授任职,并在 NEC 研究所(普林斯顿)呆过短暂一段时间。2012 年他成为纽约大学数据科学中心的创办主任。2013 年末,他成为 Facebook 的人工智能研究中心(FAIR)负责人,并仍保持在 NYU 中兼职教学。从 2015 到 2016 年,Yann LeCun 还是法兰西学院的访问学者。
LeCun 是 ICLR 的发起人和常任联合主席(general co-chair),并且曾在多个编辑委员会和会议组织委员会任职。他是加拿大高级研究所(Canadian Institute for Advanced Research)机器与大脑学习(Learning in Machines and Brains)项目的联合主席。他同样是 IPAM 和 ICERM 的理事会成员。他曾是许多初创公司的顾问,并是 Elements Inc 和 Museami 的联合创始人。LeCun 位列新泽西州的发明家名人堂,并获得 2014 年 IEEE 神经网络先锋奖(Neural Network Pioneer Award)、2015 年 IEEE PAMI 杰出研究奖、2016 年 Lovie 终身成就奖和来自墨西哥 IPN 的名誉博士学位。
3 Yoshua Bengio 约书亚·本吉奥
Yoshua Bengio 是蒙特利尔大学的教授,他的 A neural probabilistic language model” 这篇论文开创了神经网络做 language model 的先河。里面的思路影响、启发了之后的很多基于神经网络做 NLP的文章。机器学习开源框架Theano的开发者之一。
Yoshua Bengio于1991年获得加拿大麦吉尔大学计算机科学博士学位。经过两个博士后博士后,他成为蒙特利尔大学计算机科学与运算研究系教授。他是两本书和超过200篇出版物的作者,最被引用在深度学习,复现神经网络,概率学习算法,自然语言处理和多元学习领域。他是加拿大最受欢迎的计算机科学家之一,也是或曾经是机器学习和神经网络中顶尖期刊的副主编。自2000年起,他在统计学习算法中担任加拿大研究主席,自2006年成为NSERC工业主席以来,自2005年以来,他是加拿大高级研究所高级研究员,自2014年以来,他一直致力于深入学习。他是NIPS基金会的董事会成员,也是NIPS的课程主席和总裁。他共同组织了14年的学习研讨会,共同组织了新的国际学习代表会议。他目前的兴趣集中于通过机器学习对AI的追求,并且包括关于深度学习和表征学习的基本问题,高维空间中的泛化几何,多元学习,生物学启发式学习算法以及统计机器学习的具有挑战性的应用。
4 Andrew Ng(吴恩达)
吴恩达是美籍华人,曾经是斯坦福大学计算机科学系和电气工程系的副教授,斯坦福人工智能实验室主任。他还与Daphne Koller一起创建了在线教育平台Coursera。
2011年,吴恩达在Google创建了Google Brain项目,通过分布式集群计算机开发超大规模的人工神经网络。
2014年5月,吴恩达加入百度,负责百度大脑计划,并担任百度公司首席科学家。
2017年3月,吴恩达从百度离职。
吴恩达的理想是让世界上每个人能够接受高质量的、免费的教育。
吴恩达(Andrew Ng),斯坦福大学计算机科学系和电气工程系副教授,斯坦福人工智能实验室主任。他也是在线教育平台Coursera的联合创始人(另一位联合创始人 Daphne Koller)。
吴恩达于1992年就读新加坡莱佛士书院,并于1997年获得了卡内基梅隆大学的计算机科学学士学位,之后他在1998年获得了麻省理工学院的硕士学位,并于2002年获得了加州大学伯克利分校的博士学位,并从这年开始在斯坦福大学工作。
2010年,时任斯坦福大学教授的吴恩达加入谷歌开发团队XLab——这个团队已先后为谷歌开发无人驾驶汽车和谷歌眼镜两个知名项目;2011年,吴恩达与谷歌顶级工程师创建了谷歌大脑项目,以通过分布式集群计算机开发超大规模的人工神经网络,这个项目重要研究成果是,在16000个CPU核心上利用深度学习算法学习到的10亿参数的神经网络,能够在没有任何先验知识的情况下,仅仅通过观看无标注的YouTube的视频学习到识别高级别的概念,如猫,这就是著名的“Google Cat”,这个项目的技术已经被应用到了安卓操作系统的语音识别系统上,是吴恩达最知名的成就之一,吴恩达表示,未来将会在谷歌无人驾驶汽车上使用该项技术,来识别车前面的动物或者小孩,从而及时躲避;2014年5月16日,吴恩达加入百度,担任百度公司首席科学家,负责百度研究院的领导工作,尤其“百度大脑(Baidu Brain)”计划;2017年3月20日,吴恩达从百度离职。
Michael I. Jordan 迈克乔丹
Michael I. Jordan执教于加州大学伯克利分校的教授。乔丹教授是美国国家工程学院院士、科学院院士和美国艺术和科学学院院士。在美国,相比与之同名的NBA传奇球星迈克尔·乔丹,他有着另一个有趣而贴切的称号:“The Michael Jordan of Machine Learning”(机器学习领域的迈克尔·乔丹)。曾在Jordan教授门下学习的不少学生后来也成了该领域中的大咖,比如蒙特利尔大学教授Yoshua Bengio,百度前首席科学家、斯坦福大学教授吴恩达等。
Michael I. Jordan,美国科学院、美国工程院、美国艺术与科学院三院院士,IEEE、ACM、SIAM、AAAI等学术机构的会士,加州大学伯克利分校教授,他还是美国科学进步协会的资深会员。现执教于加州大学伯克利分校,担任电机工程与计算机系和统计学系教授、实时智能决策计算平台实验室(RISELab)共同主任、统计人工智能实验室(SAIL)主任、统计系系主任。2015年,Jordan获得David E. Rumelhart奖,2009年获得ACM/AAAI的Allen Newell奖。Jordan的许多学生和博士后包括Zoubin Ghahramani, Tommi Jaakkola, 吴恩达, Lawrence Saul 和 David Blei等,也已经成为机器学习领域的重要学者。
他的重要贡献包括指出了机器学习与统计学之间的联系,并推动机器学习界广泛认识到贝叶斯网络(Bayesian network)的重要性。他还以近似推断变分方法的形式化、最大期望算法(Expectation-maximization algorithm)在机器学习的普及方面的工作而知名。