GAIC 全球人工智能大会预热之四——深度强化学习的来头

Neil Zhu,简书ID Not_GOD,University AI 创始人 & Chief Scientist,致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标,带领团队快速成长为人工智能领域最专业的力量。
作为行业领导者,他和UAI一起在2014年创建了TASA(中国最早的人工智能社团), DL Center(深度学习知识中心全球价值网络),AI growth(行业智库培训)等,为中国的人工智能人才建设输送了大量的血液和养分。此外,他还参与或者举办过各类国际性的人工智能峰会和活动,产生了巨大的影响力,书写了60万字的人工智能精品技术内容,生产翻译了全球第一本深度学习入门书《神经网络与深度学习》,生产的内容被大量的专业垂直公众号和媒体转载与连载。曾经受邀为国内顶尖大学制定人工智能学习规划和教授人工智能前沿课程,均受学生和老师好评。

GAIC 全球人工智能大会有幸邀请到了微软研究院的李力鸿博士。李力鸿博士是微软研究院深度学习技术中心资深研究员。参与了微软多世界测试和探索-发现学习的研究项目。曾经担任国际机器学习大会及神经信息处理会议的领域主席。师从强化学习领军人物之一 Michael Littman。他也是 WSDM 2011 最佳论文和 ASTATS 2011 优秀论文奖获得者。目前工作集中在深度强化学习上。因此,我们在这次会议上让他来介绍这个有趣而又快速发展的领域。


强化学习(Reinforcement Learning),现在常常将其看作机器学习领域的一个分支,但实际上,强化学习的历史可以追溯到更早的时期的研究工作。根据一些文献的记载 ,强化学习本身也有完整的一条发展的脉络,它从动物行为研究和优化控制两个领域独立发展最终经 Bellman 之手汇集抽象为 MDP 问题而完成形式化.

简单说,强化学习是一门学习做决策的技术,通过和环境的交互学习到如何更优地采取决策。实际上,这也是其强大的地方,由于其通用性,所以能够被用在很多的领域中,比如游戏控制、自动驾驶、医疗、广告、推荐系统等等.

首先我们想强调一下这个术语的翻译,现在有些翻译做“增强学习”,实际上并不十分妥当。或者说丢掉了它的一种本质意义。Reinforcement 是一个东西(thing)可以看做是一种信号,借助于这信号,我们的 agent 进行学习,从而提升经验,能够达到一定的决策水平。“强化学习”这个翻译版本最早是南京大学专门从事强化学习领域研究的高阳老师的翻译。这其实能够和这个领域的发展源头承接起来,因为最早来自动物行为研究的学者采取的技术其实就是这种强化机制。我们提到这点的目的就是,在翻译时选择一定要慎重,这样可以避免不必要的误解。因为我们看到现在很多的译来物用语非常混乱,甚至是错译,这是一定要注意的.

强化学习是非常严谨的领域,发展至今其实仍旧生机蓬勃,理论和应用也出现了. 不过之前的若干研究成果,往往在真实的场景中应用起来却非常困难。首先,维度灾难的存在使得我们很难高效地求解最优的策略或者计算最优行动值. 另外强化学习其中包含的思想——贪婪、动态规划、近似等等都是算法中最为关键的部分,也是这些方法使用得比较极致的地方. 因此,才有不少人持续在其上很多年不断地推进研究的深入和一般性.

在 Warren B. Powell 的一篇短文中说道,很多来自不同领域的人,都在忙着自己的一亩三分地上耕耘,自得其乐;实际上,这些人做出来大部分工作本质上都差不太多,因此他的建议是大家从一个全貌看待问题和学科,找到相通联的点,以此出发,找到潜在的连线,最终形成整体的面的认知.

最后结合 AlphaGo 团队的 leader 也是他们发表在 Nature 的论文并列一作 David Silver 的强化学习课程给出一个强化学习的概貌:


本次大会李力鸿博士将会介绍深度强化学习技术及其应用,相信能够带来一定的干货和独到的见解,而这些对于很多人来说都是至关重要的。希望大家密切关注,不要错过这场极具启发性的报告!

购票地址:http://gaic.sxl.cn
普通票优惠码是 GAICFEI

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,393评论 5 467
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,790评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,391评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,703评论 1 270
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,613评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,003评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,507评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,158评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,300评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,256评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,274评论 1 328
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,984评论 3 316
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,569评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,662评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,899评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,268评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,840评论 2 339

推荐阅读更多精彩内容