开放域知识抽取工具OpenIE5.0配置使用

2018-05-07

安装配置

使用OpenIE5.0作为开放域知识抽取工具。网站:http://openie.allenai.org/

building

从github上下载OpenIE5.0
创建与src同层的文件夹lib、data
下载BONIE并放入lib文件夹
下载ListExtractor并放入lib文件夹
下载 Berkeley Language Model并放入data文件夹
openie使用openjdk-7和sbt构建系统 使用命令sbt compile 完成系统构建

running

1.通过sbt运行
sbt 'run-main edu.knowitall.openie.OpenIECli'
2.作为独立jar包运行
sbt clean compile assembly 可能需要加上内存选项sbt -J-Xmx10000M clean compile assembly
成功后会在生成OpenIE-standalone/target/scala-2.10/openie-assembly-5.0-SNAPSHOT.jar文件,将其拷贝至WordNet文件夹同级目录后运行
java -jar openie-assembly-5.0-SNAPSHOT.jar可能需要加上内存选项java -Xmx10g -XX:+UseConcMarkSweepGC -jar openie-assembly-5.0-SNAPSHOT.jar

以上所有内容包含于项目github中 README文件。

遇到问题

1.sbt下载jar文件过慢
解决方法:为sbt指定国内源
在.sbt目录中建立repositories文件,文件内容为源配置
我用的是:

[repositories]
#local
public: http://maven.aliyun.com/nexus/content/groups/public/
typesafe:http://dl.bintray.com/typesafe/ivy-releases/ , [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/artifact.[ext], bootOnly
ivy-sbt-plugin:http://dl.bintray.com/sbt/sbt-plugin-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/artifact.[ext]


sbt安装

echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2EE0EA64E40A89B84B2DF73499E82A75642AC823
sudo apt-get update
sudo apt-get install sbt


2.无法分配内存错误

Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x000000065a849000, 1016340480, 0) failed; error='无法分配内存' (errno=12)

已经加了内存选项,可是依然无法分配内存


查看内存.png

因为自认为已经加了内存选项而昏了头,为解决这个问题查了几乎一整天~~~~最终确定,根本上还是内存不足的原因
解决方法

  • 最简单的当然是增加物理内存
  • 条件限制无法直接增加物理内存,那就增加Swap空间
sudo dd if=/dev/zero of=/home/swap bs=1024 count=10240000
sudo mkswap /home/swap
sudo swapon /home/swap
增加swap后.png
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容