2018-03-22 sparkler运行——源文件编译和运行

一、源文件编译及转移

1.先将sparkler-ui目录下的进行打包

在/opt/git/sparkler/sparkler-ui目录下执行:

mvn clean package

如果出现mvn偶尔出现不能用的情况,可尝试使用如下命令

source /etc/profile

2.将整个sparkler项目进行打包

然后再在/opt/git/sparkler目录下执行:

mvn clean install -DskipTests

-DskipTests表示跳过测试

3.将各个文件移到solr的相应目录下

cp -r /opt/git/sparkler/sparkler-ui/sparkler-dashboard /opt/git/solr-6.5.1/server/solr-webapp/

cp -r /opt/git/sparkler/conf/solr/sparkler-jetty-context.xml /opt/git/solr-6.5.1/server/contexts/

cp -rv /opt/git/sparkler/conf/solr/crawldb /opt/git/solr-6.5.1/server/solr/configsets/

cp -r /opt/git/solr-6.5.1/server/solr/configsets/crawldb /opt/git/solr-6.5.1/server/solr/

二、启动服务执行该项目

1.启动solr

/opt/git/solr-6.5.1目录下

bin/solr start -force

2.add Core

浏览器访问http://localhost:8983/solr/#/~cores/

新增(add Core) ————》name和instanceDir两个字段值都为crawldb

3.

浏览器访问:http://localhost:8983/banana/#/dashboard

点击右上角的文件图标(第三个小图标)

选择文件---》~/sparkler/sparkler/sparkler-ui/dashboard/Sparkler-Dashboard-Basic

点击右上角保存图标(第四个小图标)

点击 Set as Browser Default选项

4.

进入到sparkler源码根目录

cd /opt/git/sparkler/

bin/sparkler.sh inject -su http://www.sina.com.cn/

#执行会返回一个jobId值,请记录它(将这个值放在-id 后面)

bin/sparkler.sh crawl -id  -m local[*] -i 1

i属性代表迭代次数

可以通过访问http://localhost:8983/banana/#/dashboard看到数据了

结果如图:


c

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,981评论 19 139
  • 两年前用过solr5.1版本的,当时只是简单入个门,拿来在项目里建个全文索引,然后再query,其他什么也没做,还...
    Coselding阅读 3,127评论 3 22
  • Spring Boot 参考指南 介绍 转载自:https://www.gitbook.com/book/qbgb...
    毛宇鹏阅读 46,970评论 6 342
  • 记得刚加入007的时候,我深知积极主动参与和被动完成任务之间的差距,当班长发布“申请值月生”的时候,我立马找班长...
    hannah君阅读 353评论 4 3