Elasticsearch,为了搜索

Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域,Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。

但是,Lucene只是一个库。想要使用它,你必须使用Java来作为开发语言并将其直接集成到你的应用中,更糟糕的是,Lucene非常复杂,你需要深入了解检索的相关知识来理解它是如何工作的。

Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。

如果没有搜索引擎,单单凭借Mysql提供的简单搜索功能,无论在性能还是效果上都不尽如人意,继承程序猿的折腾属性,决定将自己的博客插上Elasticsearch的翅膀。

安装 Oracle JDK#

sudo apt-get update
sudo apt-get install openjdk-8-jdk

安装 Elasticsearch#

  • 下载

    wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-2.3.4.deb    
    sudo dpkg -i elasticsearch-2.3.4.deb
    

    目前ElasticSearch的中文分词插件IK最高版本为1.9.4,兼容Elasticsearch的2.3.4版本。

  • 安装

    sudo dpkg -i elasticsearch-2.3.4.deb
    
  • 开机自启动

    sudo update-rc.d elasticsearch defaults 95 10
    sudo service elasticsearch start
    
  • 测试

    curl http://localhost:9200
    

你如果你看到以下信息,说明你的ElasticSearch已安装成功。

{
    "name" : "Peter Petruski",
    "cluster_name" : "elasticsearch",
    "version" : {
        "number" : "2.3.4",
        "build_hash" : "...(隐藏)",
        "build_timestamp" : "2016-06-30T11:24:31Z",
        "build_snapshot" : false,
        "lucene_version" : "5.5.0"
    },
      "tagline" : "You Know, for Search"
}

默认情况下 Elasticsearch 的 RESTful 服务只有本机才能访问,也就是说无法从主机访问虚拟机中的服务。为了方便调试,可以修改

/etc/elasticsearch/config/elasticsearch.yml文件,加入以下两行:

network.bind_host: “0.0.0.0"
network.publish_host: \_non_loopback:ipv4_

安装中文分词插件 IK#

Elasticsearch原装分词器会简单地拆分每个汉字,没有根据词库来分词,这样的后果就是搜索结果很可能不是你想要的。这里推荐使用elasticsearch-analysis-ik,支持自定义词库。

  • 下载

    wget https://github.com/medcl/elasticsearch-analysis-ik/archive/v1.9.4.tar.gz
    
  • 解压

    tar -xvf elasticsearch-analysis-ik.tar.gz
    
  • 使用maven打包该java项目

    cd elasticsearch-analysis-ik-1.9.4
    mvn package
    
  • 在plugins目录下创建ik目录,并将打包好的IK插件解压到其中

    mkdir /usr/share/elasticsearch/plugins/ik
    unzip target/releases/elasticsearch-analysis-ik-1.9.4.zip -d /usr/share/elasticsearch/plugins/ik/
    

    elasticsearch-analysis-ik 的配置文件在

    ~/{es_root}/plugins/ik/config/ik/

    目录,很多都是词表,直接用文本编辑器打开就可以修改,改完记得保存为 utf-8 格式。

现在再启动 Elasticsearch 服务,如果看到类似下面这样的信息,说明 IK Analysis 插件已经装好了

plugins [analysis-ik]

使用 Elasticsearch#

在使用之前,先大概了解下ES的特点:

网上通常会将Elasticsearch和传统关系型数据库Mysql做一下类比:

MySQL Elasticsearch
Database(数据库) Index (索引)
Table(表) Type (类型)
Row (行) Document (文档)
Column (列) Field (字段)
Schema (方案) Mapping (映射)
Index (索引) Everything Indexed by default (所有字段都被索引)
SQL (结构化查询语言) Query DSL (查询专用语言)

Elasticsearch不仅仅是全文搜索:

  • 分布式的实时文件存储,每个字段都被索引并可被搜索
  • 分布式的实时分析搜索引擎
  • 可以扩展到上百台服务器,处理PB级结构化或非结构化数据

分布式实时每个字段PB级,有点不明觉厉~ 不要慌,刚认识不熟悉很正常,慢慢接触,自然就熟络了,stop getting off track(回归正题),想要详细认识ES,请移步Elasticsearch权威指南,接下来就是一步步将ES集成进项目当中:

1. 使用package

可以直接使用官方提供的package,由于不想花时间重复造轮子,我直接使用进一步封装的第三方package。在github上有好几个可用的,我选了Elasticquent,部分是因为名字和laravel的Eloquent比较搭(笑...)。Elasticquent提供了简洁好用的trait,直接集成进你的Model里,例如Article:

...
use Elasticquent\ElasticquentTrait;

class Article extends Model
{
    use ElasticquentTrait;
        ...
}

然后就可以优雅的使用Elasticsearch了,具体如何安装使用,请参考Elasticquent的说明文档。

2. 配置Mapping

关于Mapping(映射),我找到了一篇专门介绍它的文章(传送们),通俗易懂。

文章中提到,mapping不仅告诉ES一个field中是什么类型的值, 它还告诉ES如何索引数据以及数据是否能被搜索到。

Got it! 也就是说,如果我们不配置mapping,那ES就不会知道我们是想让它按照IK的分词方式来进行索引咯~

到这里,不得不说这是一个坑,目前网上的很多资料因为使用的是老版本的ES和IK,所以index和mapping的配置一般都放在es的配置文件yml当中。但我按照那种配置方法,并没有达到预期的分词效果,ES还是简单粗暴的将汉字一个个的切开,屡败屡战折腾两天之后,终于想到试着使用Elasticquent说明文档里在Model中配置mapping的方式,果然,豁然开朗:

curl -XGET 'http://localhost:9200/_analyze?analyzer=ik&pretty=true&text=%e4%bd%a0%e5%a5%bd%e9%ba%a6%e8%82%af%e5%85%88%e7%94%9f'
{   
    "tokens" : [ {
        "token" : "你好",
           "start_offset" : 0,
        "end_offset" : 2,
        "type" : "CN_WORD",
        "position" : 0
    },
    {
        "token" : "麦",
        "start_offset" : 2,
        "end_offset" : 3,
        "type" : "CN_WORD",
        "position" : 1
    }, {
        "token" : "肯",
        "start_offset" : 3,
        "end_offset" : 4,
        "type" : "CN_WORD",
    "position" : 2
    }, {
        "token" : "先生",
        "start_offset" : 4,
        "end_offset" : 6,
        "type" : "CN_WORD",
        "position" : 3
    }]
}

附上我的mapping配置代码

protected $mappingProperties = array(
   'title' => array(
        'type' => 'string',
        'analyzer' => 'ik_max_word'
    ),
   'content' => array(
        'type' => 'string',
        'analyzer' => 'ik_max_word'
    )
);

可以看出,我告诉ES,我的title和content字段是string类型而且请按照ik的分词方式帮我检索。

3. 创建索引

直接使用Elasticquent提供的createIndex方法创建,如果想把现有文档全部索引,可以使用addAllToIndex方法,简单愉快。

Article::createIndex($shards = null, $replicas = null);
Article::addAllToIndex();

4. 增删改查

在你的控制器里的增删改查方法中,将Elasticquent提供的相应操作索引的方法依次加上即可,完成之后,那么你对文档的操作就会同步ES的索引了。具体代码请直接移步Elasticquent开源项目中trait里的代码就好,这里不再贴出。

写在最后#

在此之前,了解过sphinx,使用过配置好的xunsearch,但真正自己从零开始研究全文搜索引擎还是头一次,中间遇到了许多坑,虽然被坑郁闷,但也感谢这些坑,毕竟越过去就会有快感。写这篇文章一来作为纪念和起点,二来希望能多少对别人有点帮助,因为我也是看过好多相关的文章才一点点将ES搭建完成,在这里感谢那些乐于分享的前辈。

当然,Elasticsearch功能很强大,各种插件各种配置,这篇文章需要完善的地方还有很多,后期会不断更新,如果文中有错误或者不严谨的地方,欢迎留言交流。

PS. 最后贴出我项目中的Dockerfile,方便感兴趣的同学使用。

原文链接:https://macken.me/article/elasticsearch-for-search
https://laravel-china.org/articles/2765/elasticsearch-in-order-to-search

参考资料#

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,076评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,658评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,732评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,493评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,591评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,598评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,601评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,348评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,797评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,114评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,278评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,953评论 5 339
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,585评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,202评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,442评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,180评论 2 367
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,139评论 2 352

推荐阅读更多精彩内容