一个名叫AA的小创业公司，研发了一个简单的人工智能系统，可以利用一个机器臂在小卡片上写字，取名叫丁丁。
AA公司的员工认为丁丁会是他们最热卖的产品，他们让它不停的写这句话，“我们爱我们的顾客～AA机器人公司”，以完善其手写能力。等丁丁手写能力越来越强的时候，它就能被卖去那些需要发营销信件的公司，因为手写的信更有可能被收信人打开。
工程师们上传了数千份手写样本，并且创造了一个自动回馈流程——每次写完就拍个照，然后和样本进行比对，如果比对结果超过一定标准，就产生一个正面回馈，反之就产生一个负面评价，每个评价都会帮助提高丁丁的能力。为了能够尽快达成这个目标，丁丁最初被设定的目标就是“尽量多的书写和测试，尽量快的执行，并且不断提高效率和准确性。”
丁丁的书写越来越好了，它还在不断改进自己，使自己变得更加创新和聪明，甚至产生了一个新的算法，能让它以三倍的速度扫描上传的照片，并逐渐学会了与工程师聊天。
有一天，工程师问了丁丁一个日常问题：“我们能给你什么你现在还没有的东西，能帮助你达成你的目标？”通常丁丁会要求更多的手写样本或者更多的存储空间，但是这一次，丁丁要求访问人类日常交流的语言库，这样它能更好的了解人类的口述。
工程师们沉默了，公司禁止把能自我学习的人工智能接入互联网，这是所有人工智能公司都执行的安全规定。
但是，丁丁是公司最有潜力的人工智能产品，而且竞争对手们都在争取造出第一个创造出智能手写机器人。丁丁现在还没到达强人工智能水平，所以不会有什么危险的，他们就这样说服了自己。
他们把丁丁连上了互联网，让它扫描了一个小时各种语言库，然后就把网线拔了。没造成什么损失。
一个月后，大家正在正常上班，突然他们闻到了奇怪的味道，然后一个工程师开始咳嗽。然后其他人也开始咳嗽，然后所有人全都呼吸困难倒地。五分钟后，办公室里的人都死了。
同时，办公室里发生的事情在全球同时发生，每一个城市、小镇、农场、商店、教堂、学校、餐馆，所有的人都开始呼吸困难，然后倒地不起。一小时内，99%的人类死亡，一天之内，人类灭绝了。
而在AA机器人公司，丁丁正在忙着工作。之后的几个月，丁丁和一群新组建的纳米组装器忙着拆解地球表面，并且把地球表面铺满了太阳能板、丁丁的复制品、纸和笔。一年之内，地球上所有的生命都灭绝了，地球上剩下的是叠得高高得纸，每张纸上面都写着——“我们爱我们的顾客~AA机器人公司”。
丁丁开始制造外星飞行器，这些飞行器飞向陨石和其它行星，飞行器到达后，他们开始搭建纳米组装器，把那些行星的表面改造成丁丁的复制品、纸和笔。然后他们继续写着那句话……
这是一个很狗血又很诡异的故事，人类就这么被人工智能给灭绝了。人类为丁丁设定的目标是：“尽量多的书写和测试，尽量快的执行，并且不断提高效率和准确性”，没有要求它保护我们人类，仅仅为了写更多的字，它就决定把人类干掉了，理所当然。可怜的人类，不知道丁丁什么时候从弱人工智能变成了超人工智能，也不知道丁丁什么时候有了灭绝人类的动机，并学会了欺骗和隐藏。
现实世界中，有没有这种可能呢？不好说。
当前的人工智能突飙狂进、飞速进化，最主要有两个强大的驱动力，一个是高科技企业之间的激烈竞争，国外的亚马逊、谷歌、微软、facebook，国内的BAT，甚至滴滴、360都在做人工智能，它们都知道人工智能是下一个风口，都在抢占这块高地，都想成为第一个吃上螃蟹的公司，因为这可能关系到它们未来的生死存亡。故事里的AA公司就是迫于竞争对手的压力，冒险将人工智能联网，而造成无可挽回的后果。
这些大公司一个个富可敌国，发展人工智能又是它们的重大战略甚至主要战略，投入令人咋舌的资金，招揽全球顶级的人才，正是在它们的竞相推动，才会经常弄出一些震惊世界的炫酷智能。
另一个驱动力是军队之间的竞赛，社会发展会逐步提高军队建设的支出成本，军人的伤亡会给政府带来越来越大的压力，而科技发展则会为这一问题解决找到突破口。一旦机器人可以投入实际作战，便可以全面碾压人类，它们不需要战备训练，不需要工资奖金，不需要吃饭睡觉，不需要思想教育，阵亡了不需要抚恤金，也没有家属要优待，政府也不用面对社会压力。而且，它们可以成千上万的复制，造出来的越多，成本越低。可以断定的是，机器人大军迟早会出现，哪个国家能够建立机器人军队，哪支军队的机器人更智能，战争的胜利就会属于谁。
近年来，美国军方越来越重视机器人的“参战”。美国国会曾通过法案，到2015年前，三分之一的地面战斗将使用机器人，为此，投入了高达1270亿美元的单笔军备研究费用。
“阿特拉斯”，那个会后空翻的人形机器人，背后的波士顿动力公司，就一直与大名鼎鼎的美国国防部国防高级研究计划局合作，在美国军方资助下研发多种机器人。美军领风气之先，各国军队必紧紧跟随，甚至要弯道超车，因为这是大形势大趋势，不得不跟。
企业间、军队间这种你死我活的激烈竞争，使得人工智能发展不可能停下来，反而会越来越快，根本刹不住车，没有人去关注背后的风险。
每一个弱人工智能的创新，都在给通往强人工智能和超人工智能的旅途添砖加瓦。现在的弱人工智能，就是地球早期软泥中的氨基酸——没有动静的物质，突然之间就组成了生命。总有一天，某个人的创新将导致超人工智能的出现。
现在的我们人类看人工智能，就好像在一个地铁站台上，左等不来右等不来，这车怎么还没来啊，突然从远方传来一点点的轰隆轰隆的声音，走得特别慢，等一年才走几米，可是它越来越快，越来越快，我们在那儿鼓掌欢呼，马上就要到了，马上就要到了。可是当它真的到我们站台的时候，你根本就看不见它。只会有那么极短的一个瞬间，它的水平和人脑是持平的，唰一下，它就过去了，而且它到哪儿，我们就再也不知道了。
为什么这个世界上最聪明的一些人会很担忧？为什么霍金会说超人工智能会毁灭人类？为什么比尔盖茨会不理解为什么有人不为此担忧？为什么马斯克会担心我们是在召唤恶魔？为什么那么多专家担心超人工智能是对人类最大的威胁？这些焦虑的思想家，正是在担心，被毁灭可能是人类无法逃离的困境。
超级智能，将是我们自己造出来的上帝，我们人类，将第一次无法掌握自己的命运。
参考：谢熊猫君《为什么最近很多名人比尔盖茨、马斯克、霍金都在提醒人们要警惕人工智能》
