可恨的Solr6.3不稳定根源终于找到了

一、背景

前段时间,一连参与了两次客户的Solr问题解决,非常具有参考价值,特别是第二次,网上用Solr的人越来越少,写下总结,希望给使用Solr也遇到类似的问题的朋友一点提示吧。

二、MMapDirectory报错

2.1 报错现象

报错的信息还是比较直接提示Map映射失败,并给出了"sysctl vm.max_map_count”等需要修改的提示。

2.2 解决办法

1、按照如下方式修改内存映射的限制参数
vi /etc/sysctl.conf
vm.max_map_count=262144
#生效配置
sysctl –p
说明:设置可以使用的使用虚拟内存的限制和最大线程数。
2、更改程序可以使用最大内存限制
ulimit -m unlimited 在.bashrc中加入 或更改配置文件:/etc/security/limits.conf
说明:设置程序可以使用的最大内存。
3、更改程序可以使用的最大虚拟内存限制
ulimit -v unlimited 在.bashrc中加入 或更改配置文件:/etc/security/limits.conf【按照这里面的格式来改】
说明:设置程序可以使用的最大虚拟内存。

但是我们由于没有root用户,所以只能采用利用其它Directory,如下:

<directoryFactory name="DirectoryFactory"
class="${solr.directoryFactory:solr.NRTCachingDirectoryFactory}"/>

三、Solr和Zookeeper超时问题

这是这个系统第二次的问题了,很尴尬,首先同事查到是Zookeeper显示会话超时,然后我查了下Solr的GC日志发现有回收内存占用时间太长的情况,120秒,远远超过了我们设置的20秒的超时时间,所以报错。
我们设置的Solr运行内存为96G内存,按照一般情况来说,这个是足够的了,为什么会出现这种问题,用:

jmap -dump:live,format=b,file=out.txt pid

将内存输出到out.txt,直接看的话并没有发现什么异常信息,我们对照了Solr的故障机器和其他正常机器的内存占用情况,发现FieldInfo这个对象特别多,这个是索引中字段元数据信息的,这个为什么会多那,其他同事查了下索引发现,有几个索引的字段名超长,这导致字段名占内存很大,后面我们通过下线索引的方式验证了下,确实是这个问题,有问题的索引下线后,GC的时间减少了,再也没有出现过这个问题,而且Solr的节点内存占用稳定在64G左右。

四、总结

Solr性能不错,灵活性也还行,稳定性差些,有些系统参数没有修改竟然没有提示,这点比ES做的差,ES你如果参数没有修改是直接不让你启动的。
项目实施中,要多研究下业务数据,数据是业务的核心,从数据中可以发现很多问题,如果这次可以及时查询分析,就很容易发现这个问题。

血淋淋的教训,希望对大家有点帮助。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,509评论 6 504
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,806评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,875评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,441评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,488评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,365评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,190评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,062评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,500评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,706评论 3 335
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,834评论 1 347
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,559评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,167评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,779评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,912评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,958评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,779评论 2 354

推荐阅读更多精彩内容