前言

在热心群友的提示下，入了graalvm的坑
本来以为花个三两天应该就能搞定，没想到这一搞就是一个周，终于取得了阶段性的胜利

环境

系统：ubuntu 16.04
graalvm：GraalVM Community 21.3.0 (Based on OpenJDK 11.0.13)
https://www.graalvm.org/downloads/

环境准备

参考：https://www.graalvm.org/docs/getting-started/

关键配置
环境变量设置

export JAVA_HOME=/path/to/<graalvm>
export PATH=/path/to/<graalvm>/bin:$PATH

native-image安装

gu install native-image

这一步会到github上下载包，有可能需要科学上网支持

安装native-image需要的组件

apt-get install build-essential libz-dev zlib1g-dev

注：这里有个坑，其他文章都没有提到的坑
ld需要更新到2.26+，不然在构建过程中会报告莫名其妙的异常（这里我耗了大半天）

apt-get install binutils-2.26

另一个坑
最开始我是在一台aliyun的机器上实验的，没有注意到内存问题，在实验过程中遇到异常中断。排查syslog发现是OOMKiller。排查发现我的可用内存只有4G。
后改为在本机机器vmwarw里的ubuntu操作，内存分配到8G。经观察，native-image打包过程中会用到5.2G左右的内存，所以这里要注意一下

至此环境准备完成

打包

helloworld的尝试就跳过了，网上一搜一堆
先了解一下打包命令

native-image.png

https://www.graalvm.org/uploads/quick-references/native-image-quick-reference-v2_A4.pdf

项目依赖

lib.png

主要用到了 solon solon-api h2 weed3 logback slf4j jlhttp等包
首先，通过maven 包我的项目solondemo 打包为可以运行的jar
确保通过

java -jar solondemo.jar

可以正常运行并访问

然后把solondemo.jar 上传到前面准备好的 graalvm环境

首先需要使用graalvm提供的配置工具，对想要打包的程序的一些静态分析无法分析到的信息进行采集
如果你确认项目没有使用任何反射、代理等特性，可以省略这一步
执行

java -agentlib:native-image-agent=config-output-dir=./config/ -jar solondemo.jar

执行后，最好能跑一跑testcase，尽量保证代码覆盖率100%，避免打包后遇到 classnotfound
执行完成后终止执行
如果需要多次运行采集信息可以使用如下命令再次执行，工具会自动合并采集结果而不是覆盖

java -agentlib:native-image-agent=config-merge-dir=./config/ -jar solondemo.jar

执行结束，config下生成如下5个文件：

jni-config.json
predefined-classes-config.json
proxy-config.json
reflect-config.json
resource-config.json
serialization-config.json

坑又来了

根据网上的说法，可以通过指定-H:ConfigurationFileDirectories=./config的方式来使用前面生成的配置文件
但是，最后老是会把-H:ConfigurationFileDirectories=认为是指定的生成文件名，然而根据文档，-H:Name=xxx才是指定输出文件名的参数
注，这个问题是开始在centeros上操作遇到的，最后我在ubuntu 上又尝试用这种方式指定配置文件的时候，他生效了，原因未知
我采用了另外一种配置方式：把这些文件打包到jar包的META-INF/native-image目录下

project structure
打包命令

native-image  -jar solondemo.jar --allow-incomplete-classpath -H:+ReportExceptionStackTraces --enable-http

这个命令也是经过反复多次尝试最终得出的可用命令，尝试的过程就略去3W字了
注：如果你的应用需要对外提供http服务，必须加上配置 --enable-http 如果提供https服务则必须加--enable-https 否则哪怕运行起来了访问也永远是 500
打包成功，目录下生成solondem文件
执行运行:
sad~~~~~~~~~~~运行成功了，但是插件没加载，
翻阅solon源码，发现插件加载的流程大致如下：

plugin load process

通过反复添加日志排查，发现：
在graalvm native-image下运行，这里扫描到 META-INF/solon 这个目录的type 它不是file/jar。而是resource

resource

所以到了这里自然就无法遍历目录下的文件了。
于是我尝试让resource类型也走 file的方式去扫描

image.png

失败。

百度google调研发现，graalvm内部资源管理自己实现了一套FileSystem，url描述符定义为resource，有一套他自定义的api（由于时间有限，暂未深入研究）
对本来是目录类型的 resource使用File方式去处理，得到的结果是 file not exists！但是对于确定的文件，是可以正常读取的

于是我考虑预处理，在graalvm外面就先把能扫描到的文件清单提取出来，通过配置的方式，插件扫描的时候直接返回预置的文件清单
因为本地执行是可以正常扫描的，所以我在扫描结束的时候，增加一个输出：

image.png

然后在配置中添加：

image.png
scan流程做如下修改

image.png

插件扫描成功并运行

image.png

扫描注解也有同样的问题，排查过程与配置文件扫描类似，解决方案已与配置文件扫描的解决方案合并，略去3W字

至此，主框架已经可以run起来了，但是嵌入式数据库 h2还在作妖。
baidu google调研，发现github已经有人提过这个问题
https://github.com/h2database/h2database/issues/2207
但是我尝试按照他们说的使用1.4.199版本，却仍然各种异常。
没办法，下载h2源码加log排查吧

image.png

首先这里报空指针，那么唯一的可能就是 defaultProvider 为空。
分析 defaultProvider 初始化过程

image.png

发现了Class.forName，以及吃掉了异常

e.printStackTrace();

打包再来运行

Caused by: java.lang.ClassNotFoundException
......
org.h2.store.fs.disk.FilePathDisk

好嘛。native-image的agent居然没有把这个扫出来
手动把这些添加到reflect-config.json里面
再打包运行，又报了个别的 class not found
再添加再打包

[
........,
{
    "name": "org.h2.store.fs.FilePathDisk",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  },
  {
    "name": "org.h2.store.fs.FilePathMem",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  }  ,
  {
    "name": "org.h2.store.fs.FilePathMemLZF",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  },
  {
    "name": "org.h2.store.fs.FilePathNioMem",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  },
  {
    "name": "org.h2.store.fs.FilePathNioMemLZF",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  },
  {
    "name": "org.h2.store.fs.FilePathNioMapped",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  },
  {
    "name": "org.h2.store.fs.FilePathAsync",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  },
  {
    "name": "org.h2.store.fs.FilePathZip",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  },
  {
    "name": "org.h2.store.fs.FilePathRetryOnInterrupt",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  },
  {
    "name": "org.h2.store.fs.FilePathNio",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  },
  {
    "name": "org.h2.store.fs.FilePathSplit",
    "methods":[{"name":"<init>","parameterTypes":[] }]
  },
  {
    "name": "org.h2.mvstore.db.MVTableEngine",
    "methods":[{"name":"<init>","parameterTypes":[] }],
    "allDeclaredFields":true
  }
]

成了！

image.png

访问接口、增删改查、静态页面、日志都OK了

image.png

image.png

幸福来得如此突然。

总结

1、最终可用的打包命令

native-image  -jar solondemo.jar --allow-incomplete-classpath -H:+ReportExceptionStackTraces --enable-http

2、ld需要升级到2.26+

root@ubuntu:/home/hx/graalvm/demo3# ld -version
GNU ld (GNU Binutils for Ubuntu) 2.26.1
Copyright (C) 2015 Free Software Foundation, Inc.
This program is free software; you may redistribute it under the terms of
the GNU General Public License version 3 or (at your option) a later version.
This program has absolutely no warranty.

3、-agentlib:native-image-agent 不一定能检查出所有的反射
4、graalvm有自己的文件系统实现，暂未找到遍历目录的方法
5、第三方包不能运行时，大概率是由于反射没有检查到导致的class not found
6、排查第三方包问题时，一定要注意被吃掉的Exception
7、native-image 打包时需要5G+内存

上文提到的solon scan方法支持预配置代码已提交到 https://gitee.com/noear/solon
文中提到的solondemo项目，已经提交到 https://gitee.com/mantouchong/solondemo

java运行包精简探索(三)(graalvm)

java运行包精简探索(三)(graalvm)

前言

环境

环境准备

打包

总结