让 AI 释放科研系统的 7 宗罪之一?出版业正在试行 AI 同行评审员,但做决定的仍是人类

姓名:马行健

学号:16020199036

转载自:https://zhuanlan.zhihu.com/p/50876232

【嵌牛鼻子】:AI代替人工?

【嵌牛导读】:2016 年美国数字媒体公司 Vox Media 旗下新闻网站 Vox 发表了一篇调查了 270 名科学家,归纳出科研系统需要解决的 7 宗罪,其中一个就是同行评审,现在人工智能或许可以帮忙解决这个问题,改善流程,节省审稿人的时间。Nature 一篇最新文章报道,已经有一些学术出版商正在试行 AI 工具,从选择评论者、检查统计数据、到总结论文的发现。

【嵌牛原文】:2016 年美国数字媒体公司 Vox Media 旗下新闻网站 Vox 发表了一篇调查了 270 名科学家,归纳出科研系统需要解决的 7 宗罪,其中一个就是同行评审,现在人工智能或许可以帮忙解决这个问题,改善流程,节省审稿人的时间。Nature 一篇最新文章报道,已经有一些学术出版商正在试行 AI 工具,从选择评论者、检查统计数据、到总结论文的发现。

同行评审的目的是在出版前剔除掉低质量的论文,但这个制度难以避免存在问题,比如相当耗时,有些审稿人的评审过程不够仔细,导致错误、有缺陷的论文被出版,以及编辑和审稿人知道作者是谁,作者却不知道编辑和审稿人是谁,在这审稿过程中是否会有倾向性等争议。而要怎么弥补同行评审的不足,行业内也提出一些方式,像是提高透明度、建立工作组的协作同行评审等,人工智能搭配人类做裁决,则是一种新作法。

阿姆斯特丹出版业巨头 Elsevier 的同行评审管理系统 Aries Systems,在今年 6 月采用了名为 StatReviewer 软件,该软件会检查手稿中的统计数据和方法是否合理。此外,许多期刊使用的同行评审平台 ScholarOne,正在与丹麦的论文及专利在线搜索平台 UNSILO 合作,UNSILO 利用自然语言处理(NLP)和机器学习(ML)来分析手稿,通过语义分析自动提出关键概念、总结论文内容。

UNSILO 开发的初版工具 是从 PubMed Central 学术数据库抓取信息,PubMed Central 可以将新手稿与 170 万份已发布的生物医学研究论文的全文进行比较,为了继续扩大信息量,UNSILO 表示,后续很快会增加超过 2000 万份 PubMed Central 的论文,同时也与知名的信息数据分析机构科睿唯安(Clarivate Analytics)旗下的 ScholarOne 合作。

另外,UNSILO 也会提出哪些关键短语最能代表论点或研究发现,并会标示出这些主张是否与以前发表过的论文类似,让编辑更快了解研究结果。UNSILO 销售总监 Neil Christensen 认为,使用语义分析来提取文本的主要陈述,此法通常会比作者提交关键字更能清楚地概述论文,但也强调,此工具并不会做出决定,只是告诉人类在比较此篇手稿和已发布的论文时有哪些突出之处,评审还是人类。

AI 能是人类编辑、审稿人的助手吗?

“它不会取代编辑的判断,但可以让事情变得更容易些”,一家英国出版商的顾问 David Worlock 在德国法兰克福书展上看到了 UNSILO 示范后,给出了这番评语,但是他同时提出一个值得思考的问题——AI 潜在的陷阱,机器学习工具是根据先前已发表的论文来进行训练,这样的决策系统可能会加强同行评审中的现有偏见问题。

目前看来,不太相信 AI 的不只 David Worlock 一人,在英国 eLife 期刊领导创新部门的 Giuliano Maciocci 表示,在想要解决同行评审这个令人头疼的问题中,UNSILO 提出了有趣的方法,但并不是 eLife 会考虑采用的方案。“我们并不完全相信它在 eLife 这样的期刊背景下特别有用,因为专家思想非常重要,”他说。

另外,一家被科睿唯安收购、使用机器学习开发同行评审追踪工具的初创公司 Publons 联合创始人 Andrew Preston 则直言,算法还没聪明到可以让人类编辑就根据 AI 提出的信息判断要接受或拒绝一篇论文,“这些工具可以确保稿件符合要求,但绝不会取代审稿人在评估方面所做的工作,”他说。

让 AI 尝试作为同行评审员的意义在于节省审稿人的时间,由机器做例行性的工作,概念类似于商业环境中的机器人流程自动化(Robotic Process Automation,RPA),在 AI 的应用领域,比起面部识别、自动驾驶等,RPA 或自动化文件处理不是一个听起来很性感的领域,但其实商业潜力不小,除了上述的论文检视、同行评审之外,监管科技(Regtech)更是热门议题,简单来说,RPA 就是通过自动化软件来取代需要大量人力的例行性、高重复性的工作,在金融、法律等领域都有一些实际的落地案例。数日前,日本软体银行旗下的软银愿景基金就投资了 RPA 初创公司 Automation Anywhere 3 亿美元。

今年 3 月一家来自以色列、专攻合约审查领域的 AI 初创公司 LawGeex 与斯坦福大学、杜克大学法学院和南加州大学的法学教授合作一项研究,让 20 名有经验的律师与经过训练的法律 AI 程序挑战,在 4 小时内审查 5 项保密协议(NDA),并确定 30 个法律问题,包括仲裁、赔偿等,结果人类律师平均正确率为 85%,AI 则拿下了 94% 的正确率达,而且 AI 只在 26 秒内完成任务,人类律师平均需要 92 分钟。

但律师不会失业,就像论文审查的决定权力仍在人类审稿人手上,AI 带来的是改善或加速流程的进行,并抓出人类必须投入大量心力才能抓到的错误,训练有素的 AI 可以在专门、特定的领域达到很好的表现,AI 与专业人士的协同合作,将是未来不可逆的趋势。


图片发自简书App


图片发自简书App
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,837评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,551评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,417评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,448评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,524评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,554评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,569评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,316评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,766评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,077评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,240评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,912评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,560评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,176评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,425评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,114评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,114评论 2 352

推荐阅读更多精彩内容