16_相关性搜索技术与知识图谱

内容摘要:相信大家每天都会使用搜索引擎,互联网上大量的信息资源,依托搜索引擎用户可以快速找到对自己有价值的信息。搜索引擎也帮助网站带来了大量的流量,搜索公司本身不生产数据,但通过在信息上构建关联变成服务,从而产生巨大的附加价值。这后面技术逻辑和秘密是什么呢?今天我们就搜索的后台技术聊一聊。

1、相关性搜索的概念

谈到搜索,我想大家每天都再用,Ctrl+F输入关键字,找到内容,这不就是搜索吗?但是,要做一个搜索引擎,这显然是不够的。比如你是一个科技控,你搜索小米,那估计八成是你要找叫“小米”的手机。在下面搜索推荐相关信息的时候,可能还要给出苹果手机、华为手机相关信息才合适。很多情况下字面的意思,必须要联系到你的使用场景,才能给出用户更多有价值的服务。

接下来我们就谈谈搜索中,相关的重要性。所谓相关性,就是根据内容对用户及业务需求的满足程度,对搜索内容进行排名的一门学问。它会将搜索引擎打造成一个看似智能的系统,能够理解用户和业务的需求

Google大名鼎鼎的Pagerank排序算法,词频(TF/IDF)和词向量(Word2vec)计算等算法,核心问题就是在提取每个搜索页面内容的相关性。谁都想用一个比简单对单词更智能的搜索工具,能更好地给出满足用户需求的相关性是每个搜索引擎具有竞争力的关键。

下面我们看看能给出满足用户需求的相关性信息,有哪些核心技术呢?

2、知识图谱的作用

“Things not strings”。知识图谱是Google于2012年提出的,目的是用来优化搜索结果,让计算机理解人类信息内在的相关性(图1)。经过多年的发展,知识图谱在人工智能的许多行业都拥有了成熟落地的应用。按照知识图谱的覆盖面来看,主要分为通用知识图谱与行业知识图谱。

图1 语义网络的概念

通用知识图谱范围很广,面向全领域,主要应用于面向互联网的搜索、推荐、问答等业务场景。它的核心强调的是广度。这个工作我们就不谈了,因为有大公司想着干。下面谈谈行业知识图谱,如果用通用知识图谱去解决行业问题,往往会产生很多笑话。

在金融领域,管理部门通过对大量的敏感数据进行语义关联分析,可以防止欺诈,确保数据安全等。在医学领域,通过大量的病例,可以给出某种症状可能的最佳治疗方案。

行业知识图谱对准确度要求非常高,通常用于辅助各种复杂的分析应用或决策支持。针对细分行业,面向特定领域的知识图谱,可能是未来研究的热点。在细分的专业领域有严格与丰富的数据模式,行业知识图谱中的实体通常属性比较多且具有行业意义。

特别是在科学研究方面,我们用过谷歌学术,可以给出每篇文章的引用情况,以及有关作者研究领域的深度挖掘信息。当前阶段,科学知识图谱是跟踪科技前沿、选择科研方向、开展知识管理与辅助科技决策的一种有效工具。

3、垂直领域搜索的意义

通过知识图谱的构建是实现相关性搜索的关键,而把这些应用到专业领域,实现垂直行业专有信息的搜索应用。这个工作对于促进行业发展将是十分有意义的事情。

要实现一套面向垂直领域的搜索引擎,通常需要行业知识建模、行业知识抽取到应用构建三个步骤。通过对行业涉及到的实体内容进行建模,提取诸如:科研人员、成果、项目之间的关联性等。

垂直领域搜索的意义在于可以最大程度地整合内外资源,打造企业竞争力,最大程度地从已有经验中发现有价值的信息,实现创新驱动发展的模式转变。

智能搜索技术也是集数学、统计学、计算机科学以及现代数据挖掘、复杂网络为一体的科学发展及其研究前沿知识发现与分析方法与技术。

结语

知识图谱作为人工智能的基石,是构建智能应用的基础。而掌握好搜索工具,对大家日后科研帮助无疑将是十分巨大的。期望这篇短文能起个头,能引起大家对专业领域知识图谱构建的兴趣,要想动手很多技术和算法可以去进一步探索。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,948评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,371评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,490评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,521评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,627评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,842评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,997评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,741评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,203评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,534评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,673评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,339评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,955评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,770评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,000评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,394评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,562评论 2 349

推荐阅读更多精彩内容