业务要求写一个ElasticSearch的分词插件，使用的是其他的分词框架，但是并没有ES的插件版本，所以需要包装一些。但是搜索了ES的doc，并没有很详细的说明一个插件是如何实现的。
这里以ik插件为例来说明一个分词插件如何按照ES的接口去实现。
概况
一个ES插件需要有如下文件
- plugin-descriptor.properties 必备。 描述了ES插件的程序入口，版本号，说明，名称，目标ES版本
- plugin-security.policy 可选。 给jvm使用的Java安全文件，细节可搜索关键词
java security - 供ES加载的插件jar文件 必备
- 自定义插件的外部以来jar文件 可选
- 自定义插件所需要的其他文件可选
plugin-descriptor.properties
下面是ik插件的内容，自己写插件可以按照ik的范例做修改
# Elasticsearch plugin descriptor file
# This file must exist as 'plugin-descriptor.properties' at
# the root directory of all plugins.
#
# A plugin can be 'site', 'jvm', or both.
#
### example site plugin for "foo":
#
# foo.zip <-- zip file for the plugin, with this structure:
# _site/ <-- the contents that will be served
# plugin-descriptor.properties <-- example contents below:
#
# site=true
# description=My cool plugin
# version=1.0
#
### example jvm plugin for "foo"
#
# foo.zip <-- zip file for the plugin, with this structure:
# <arbitrary name1>.jar <-- classes, resources, dependencies
# <arbitrary nameN>.jar <-- any number of jars
# plugin-descriptor.properties <-- example contents below:
#
# jvm=true
# classname=foo.bar.BazPlugin
# description=My cool plugin
# version=2.0.0-rc1
# elasticsearch.version=2.0
# java.version=1.7
#
### mandatory elements for all plugins:
#
# 'description': simple summary of the plugin
description=IK Analyzer for Elasticsearch
#
# 'version': plugin's version
version=6.4.0
#
# 'name': the plugin name
name=analysis-ik
#
# 'classname': the name of the class to load, fully-qualified.
classname=org.elasticsearch.plugin.analysis.ik.AnalysisIkPlugin
#
# 'java.version' version of java the code is built against
# use the system property java.specification.version
# version string must be a sequence of nonnegative decimal integers
# separated by "."'s and may have leading zeros
java.version=1.8
#
# 'elasticsearch.version' version of elasticsearch compiled against
# You will have to release a new version of the plugin for each new
# elasticsearch release. This version is checked when the plugin
# is loaded so Elasticsearch will refuse to start in the presence of
# plugins with the incorrect elasticsearch.version.
elasticsearch.version=6.4.0
plugin-security.policy
Java可以对代码做权限管理，这样如果是调用别人的代码，可以防止是恶意的代码，权限比如“网络，IO读写等”，
ik插件的内容
grant {
// needed because of the hot reload functionality
permission java.net.SocketPermission "*", "connect,resolve";
};
如果没有添加应有的配置，那么在es启动的时候类加载过程中就会报错，启动失败，可以根据异常原因查找缺失的配置项
自定义插件
public class AnalysisIkPlugin extends Plugin implements AnalysisPlugin
插件的接口，插件必须要继承Plugin，分析器插件必须要实现AnalysisPlugin接口
核心在AnalysisPlugin，这个接口实际是一个Factory，返回分词器，过滤器对象等。
@Override
public Map<String, AnalysisModule.AnalysisProvider<TokenizerFactory>> getTokenizers() {
Map<String, AnalysisModule.AnalysisProvider<TokenizerFactory>> extra = new HashMap<>();
extra.put("ik_smart", IkTokenizerFactory::getIkSmartTokenizerFactory);
extra.put("ik_max_word", IkTokenizerFactory::getIkTokenizerFactory);
return extra;
}
@Override
public Map<String, AnalysisModule.AnalysisProvider<AnalyzerProvider<? extends Analyzer>>> getAnalyzers() {
Map<String, AnalysisModule.AnalysisProvider<AnalyzerProvider<? extends Analyzer>>> extra = new HashMap<>();
extra.put("ik_smart", IkAnalyzerProvider::getIkSmartAnalyzerProvider);
extra.put("ik_max_word", IkAnalyzerProvider::getIkAnalyzerProvider);
return extra;
}
- getTokenizers返回一个tokenizer的map(key为tokenizer的名字，value为一个可以创建Tokenizer的工厂对象)
- getAnalyzers返回一个analyzer的map(key为analyzer的名字，value为一个可以创建Analyzer的工厂对象)
- tokenizer用在index阶段，analyzer用在search阶段，但是理论上两者行为上是一致的，这样索引的时候分词和搜索时候的分词是一样的。ik的analyzer里面也是同样的tokenizer
- ik使用了lambda，所以可能比较难懂，但是就是一个工厂类，可以get一个对象。
- 而且插件实际上是一个返回工厂类的工厂类，套了几层，但实际上没有很多特别的东西，一般人也用不到
这些工厂方法最终返回的是一个Tokenizer对象，你需要继承这个对象
你需要实现
incrementToken reset end方法
大概的调用逻辑如些
t = new Tokenizer()
t.reset();
while(t.incrementToken()){
//t.getAttributes()
}
t.end();
Tokenizer有一个Reader属性，待分词的输入就在这里
/** The text source for this Tokenizer. */
protected Reader input = ILLEGAL_STATE_READER;
获得词元
这个是使用ES的_analyze接口获得的测试结果
{
"tokens": [
{
"token": "测试",
"start_offset": 0,
"end_offset": 2,
"type": "word",
"position": 0
},
{
"token": "文字",
"start_offset": 2,
"end_offset": 4,
"type": "word",
"position": 1
}
]
}
可以看到有这么几个属性：token,start_offset,end_offset,type,position
这些都需要我们去指定。但是Tokenizer却没有返回这些属性
ik的构造方法
/**
* Lucene 4.0 Tokenizer适配器类构造函数
*/
public IKTokenizer(Configuration configuration){
super();
offsetAtt = addAttribute(OffsetAttribute.class);
termAtt = addAttribute(CharTermAttribute.class);
typeAtt = addAttribute(TypeAttribute.class);
posIncrAtt = addAttribute(PositionIncrementAttribute.class);
_IKImplement = new IKSegmenter(input,configuration);
}
上面的分词属性是通过ES和Tokenizer共享对象来实现的，对象就是offsetAtt,termAtt,typeAtt,posIncrAtt,这些对象并不都是必须的，有的属性有自己默认的构造过程，如type,position
@Override
public boolean incrementToken() throws IOException {
//清除所有的词元属性
clearAttributes();
skippedPositions = 0;
Lexeme nextLexeme = _IKImplement.next();
if(nextLexeme != null){
posIncrAtt.setPositionIncrement(skippedPositions +1 );
//将Lexeme转成Attributes
//设置词元文本
termAtt.append(nextLexeme.getLexemeText());
//设置词元长度
termAtt.setLength(nextLexeme.getLength());
//设置词元位移
offsetAtt.setOffset(correctOffset(nextLexeme.getBeginPosition()), correctOffset(nextLexeme.getEndPosition()));
//记录分词的最后位置
endPosition = nextLexeme.getEndPosition();
//记录词元分类
typeAtt.setType(nextLexeme.getLexemeTypeString());
//返会true告知还有下个词元
return true;
}
//返会false告知词元输出完毕
return false;
}
注意clearAttributes();这个方法不要忘了调用
QA
1.AccessController异常
之前说到Java的plugin-security.policy文件，但是我发现不知为什么ES无法自动加载插件目录下的文件，如果出现这样的情况，可以在config/jvm.options里面添加-Djava.security.policy=/path/to/plugin-security.policy可以使绝对路径，可以是以es根目录的相对路径
