如何开发自己的搜索帝国之Elasticsearch

搜索引擎是什么?

搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。搜索引擎包括全文索引、目录索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、门户搜索引擎与免费链接列表等。

Elasticsearch是什么?

Elasticsearch一个高可扩展的开源的全文本搜索和分析工具。它允许你以近实时的方式快速存储、搜索、分析大容量的数据。Elasticsearch不仅提供全文检索功能，还能提供高效的分布式数据存储、索引、搜索，能完成对大数据的自动分片、自动负载索引，并提供Restful Web的风格接口。

Elasticsearch是面向文档型的NoSQL数据库，可以在其中进行索引、搜索、排序和过滤这些文档。它是实时分析的分布式搜索引擎，可以扩展到上百台服务器，处理PB级的结构化或非结构化数据。

也支持中文分词插件，Hadoop等插件。可以通过Http访问，使用Json来操作数据。其索引能分拆为多个分片，每个分片可有多个副本，集群的负载都是自动完成的。

ES基础架构

ElasticSearch vs Solr 总结

（1）二者安装都很简单。

（2）Solr 利用 Zookeeper 进行分布式管理，而 Elasticsearch 自身带有分布式协调管理功能。

（3）Solr 支持更多格式的数据，比如JSON、XML、CSV，而 Elasticsearch 仅支持json文件格式。

（4）Solr 官方提供的功能更多，而 Elasticsearch 本身更注重于核心功能，高级功能多有第三方插件提供

（5）Solr 在传统的搜索应用中表现好于 Elasticsearch，但在处理实时搜索应用时效率明显低于 Elasticsearch。

（6）Solr 是传统搜索应用的有力解决方案，但 Elasticsearch 更适用于新兴的实时搜索应用。

三台机器做集群：192.168.80.30、192.168.80.32、192.168.80.33

环境

CentOS7.0

Java1.8

下载

下载地址：https://www.elastic.co/products/elasticsearch

下载后上传到CentOS中的/usr/local/ 文件夹中，并解压到当前文件中重命名为elasticsearch530   /usr/local/elasticsearch530

tar -zxvf elasticsearch-5.3.0.tar.gz

创建 elsearch运行账户和组

groupadd elsearch#添加elsearch组

useradd -g elsearch elsearch -s /bin/false

更改elasticsearch文件夹及内部文件的所属用户及组为elsearch:elsearch

chown -R elsearch:elsearch elasticsearch530

配置参数

（1） 初步修改

打开/usr/local/elasticsearch530/config目录下的elasticsearch.yml 文件 ,修改以下属性值并取消该行的注释：

cluster.name: es-application#这是集群名字，我们 起名为 es-application。es启动后会将具有相同集群名字的节点放到一个集群下。

node.name:"es-node1"#节点名字。

covery.zen.minimum_master_nodes: 1#指定集群中的节点中有几个有master资格的节点。对于大集群可以写3个以上。

discovery.zen.ping.timeout: 40s#默认是3s，这是设置集群中自动发现其它节点时ping连接超时时间，为避免因为网络差而导致启动报错，我设成了40s。

discovery.zen.ping.multicast.enabled: false#设置是否打开多播发现节点，默认是true。

network.host: 0.0.0.0

http.port:9200

node.master: true#节点从可作为选举为主节点

node.data: true#也用来存储数据,可作为负载器

discovery.zen.ping.unicast.hosts: ["192.168.80.32","192.168.80.33","192.168.80.30"]#discovery.zen.ping.unicast.hosts:["节点1的 ip","节点2 的ip","节点3的ip"] 指明集群中其它可能为master的节点ip,以防es启动后发现不了集群中的其他节点。第一对引号里是node1，默认端口是9300。第二个是 node2 ，在另外一台机器上。

（2） 进一步修改

将elasticsearch530文件夹copy到另外一台IP为192.168.80.33、192.168.80.30的机器上。

修改各主机上的改配置文件elasticsearch.yml 文件修改如下：

node.name:"es-node2"和 node.name:"es-node3"

注意：

1.对于单机多节点的es集群，一定要注意修改 transport.tcp.port 和http.port 的默认值保证节点间不冲突。

2. 出现找不到同一集群中的其他节点的情况，检查下 discovery.zen.ping.unicast.hosts 是否已设置。

启动

复制elasticsearch文件夹时，如果原来的es文件夹下存在node数据，那么es集群也不能正常启动，所以若之前在elasticsearch530文件夹下有data文件夹，则清空node2和node3节点服务下的data文件夹，否则会报节点加入不了集群的错。

切换到elsearch用户再启动，3台服务器都要进行启动

su elsearch

cd/usr/local/elasticsearch530 目录

bin/elasticsearch -d#后台运行

此时启动服务会发现报错：max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

[root@H32 ~]#cat /etc/sysctl.conf | grep -v "vm.max_map_count" > /tmp/system_sysctl.conf

[root@H32 ~]#echo "vm.max_map_count=262144" >> /tmp/system_sysctl.conf

[root@H32 ~]#mv /tmp/system_sysctl.conf /etc/sysctl.confmv：是否覆盖"/etc/sysctl.conf"？ y

[root@H32~]#cat /etc/sysctl.conf

#System default settings live in /usr/lib/sysctl.d/00-system.conf.#To override those settings, enter new settings here, or in an /etc/sysctl.d/.conf file#

#For more information, see sysctl.conf(5) and sysctl.d(5).vm.max_map_count=262144

[root@H32~]#sysctl -pvm.max_map_count = 262144

修改后再次启动，可通过下命令查看启动后是否有进程

ps -ef |grep elasticsearch

ES的安装就此完成，接下来安装Head插件来监控Elasticsearch

Elasticsearch Head插件

Elasticsearch Head Plugin: 对ES进行各种操作，如查询、删除、浏览索引等，可对集群健康状况，各个节点状态，索引状态查看。

5.X版本的ES跟之前的版本最大的不同之处就是多了很多环境的校验，比如jdk,max-files等等。

设置内核参数

vi /etc/sysctl.conf # 增加下面的内容

fs.file-max=65536vm.max_map_count=262144

设置资源参数

vi /etc/security/limits.conf # 修改

elsearch soft nofile 65536

elsearch hard nofile65536

sysctl-p

修改/config/elasticsearch.yml

#增加新的参数，这样head插件可以访问es

http.cors.enabled: true

http.cors.allow-origin:"*"

注意，设置参数的时候:后面要有空格！

在5.X版本中不支持直接安装head插件，需要启动一个服务

git clone git://github.com/mobz/elasticsearch-head.git

下载 elasticsearch-head 或者git clone到 /usr/local/elasticsearch-head

cd elasticsearch-head

npm install

由于head插件本质上还是一个nodejs的工程，因此需要安装node，使用npm来安装依赖的包。（npm可以理解为maven）

去官网下载nodejs，https://nodejs.org/en/download/

下载下来的jar包是xz格式的，一般的linux可能不识别，还需要安装xz.

yum -y install xz

然后解压nodejs的安装包:

xz -d node*.tar.xz tar -xvf node*.tar

解压完node的安装文件后，需要配置下环境变量,编辑/etc/profile，添加

#set node environment

export NODE_HOME=/usr/local/node790

export PATH=$PATH:$NODE_HOME/bin

别忘记立即执行以下

source /etc/profile

这个时候可以测试一下node是否生效：

[root@H32 node790]#echo $NODE_HOME

/usr/local/node790

[root@H32 node790]#node -v

[root@H32 node790]#npm -v

安装grunt

grunt是一个很方便的构建工具，可以进行打包压缩、测试、执行等等的工作，5.X里的head插件就是通过grunt启动的。因此需要安装一下grunt：

linux：npm install grunt-cli

windows：npm install grunt-cli -g

在elasticsearch-head目录下node_modules/grunt下如果没有grunt二进制程序，需要执行

cd elasticsearch-head

npm install grunt-cli

npm install grunt--save-dev

安装完成后检查一下：

[root@H32 elasticsearch-head]#grunt -version

grunt-cli v1.2.0

grunt v1.0.1

启动服务

/usr/local/elasticsearch-head/node_modules/grunt/bin/gruntserver

修改head源码

由于head的代码还是2.6版本的，直接执行有很多限制，比如无法跨机器访问。因此需要用户修改两个地方：

修改服务器监听地址

目录：elasticsearch-head/Gruntfile.js

connect: { server: { options: { port: 9100, hostname:'*', base:'.', keepalive: true } } }

增加hostname属性，设置为*

修改连接地址：

目录：elasticsearch-head/_site/app.js

修改head的连接地址:

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://localhost:9200";

把localhost修改成你es的服务器地址，如:

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") ||"http://192.168.80.32:9200";

运行head

首先启动每个服务器上的 ES。

再启动grunt

cd /usr/local/elasticsearch-head

grunt server-d

访问:target:9100

这个时候，访问http://192.168.80.32:9100就可以访问head插件了。

现在可以在此页面操作ES数据了，但这只是一个开始。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 217,509评论 6赞 504
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 92,806评论 3赞 394
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 163,875评论 0赞 354
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 58,441评论 1赞 293
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 67,488评论 6赞 392
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 51,365评论 1赞 302
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 40,190评论 3赞 418
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 39,062评论 0赞 276
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 45,500评论 1赞 314
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,706评论 3赞 335
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,834评论 1赞 347
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 35,559评论 5赞 345
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 41,167评论 3赞 328
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,779评论 0赞 22
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,912评论 1赞 269
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 47,958评论 2赞 370
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 44,779评论 2赞 354

推荐阅读更多精彩内容