xmake v2.2.2, 让C/C++拥有包依赖自动构建

前言

历经四个多月,xmake终于更新了新版本v2.2.2,并且上线了重量级功能:原生支持的远程依赖包管理。

而这个特性,其实我陆陆续续写了将近一年的时间,才初步完成,对于此特性的开发进展和历史,有兴趣的同学可以看下相关issues:#69

目前的实现效果如下,完全一致的语义版本依赖描述:

image

完全一致的跨平台构建行为,一键xmake编译:

image

完整的项目描述:

add_requires("tbox 1.6.*", "libpng ~1.16", "zlib")target("test")    set_kind("binary")    add_files("src/*.c")     add_packages("tbox", "libpng", "zlib")

我先简单介绍下我做这个功能的背景:

我们在写C/C++程序的时候,对于第三方依赖库的使用一直是一个老大难问题,因为每个依赖库的构建系统不同、代码平台支持力度的差异,导致没法像其他高级语言那样有方便好用的包管理支持。

虽然现在已经有了homebrew, vcpkg等包管理工具来解决这一问题,但是多少都有一些局限性,例如:

  1. homebrew不支持iphoneos, android, windows平台
  2. vcpkg不支持语义版本选择,多版本管理
  3. 另外都不支持项目管理和构建

对于目前现有的跨平台构建工具,都缺少内置的包管理支持,像cmake仅提供了find_package去查找系统包,虽然可以和vcpkg等第三方包管理配合使用,但我个人觉得并不是很方便。
这会使得项目的其他用户在编译的时候,额外要求去安装vcpkg或者安装依赖库到系统上才行,对于pc平台还好弄些,对于iphoneos, android等平台的依赖库,用户就要折腾上一会了。

而xmake的理念就是:真正的一致维护, 真正的一键编译

  • 构建行为的一致性: 不管你的项目是否有库依赖,工具依赖,只需要执行一个xmake命令,即可编译通过。
  • 项目维护的一致性: 不管你的项目是在windows上用,还是给linux, iphone, android上用,都只需要一份xmake.lua维护项目即可。

而cmake还需要生成额外的第三方IDE工程文件,即使cmakelist.txt相同,但是构建、维护体验上对用户来讲都不可能保证完全一致,毕竟还受限于vc/make此类工具。

目前支持的特性

  • 语义版本支持,例如:">= 1.1.0 < 1.2", "~1.6", "1.2.x", "1.*"
  • 提供官方包仓库、自建私有仓库、项目内置仓库等多仓库管理支持
  • 跨平台包编译集成支持(不同平台、不同架构的包可同时安装,快速切换使用)
  • debug依赖包支持,实现源码调试

依赖包处理机制

这里我们简单介绍下整个依赖包的处理机制:

image
  1. 优先检测当前系统目录、第三方包管理下有没有存在指定的包,如果有匹配的包,那么就不需要下载安装了 (当然也可以设置不使用系统包)
  2. 检索匹配对应版本的包,然后下载、编译、安装(注:安装在特定xmake目录,不会干扰系统库环境)
  3. 编译项目,最后自动链接启用的依赖包

快速上手

新建一个依赖tbox库的空工程:

$ xmake create -t console_tbox test$ cd test

执行编译即可,如果当前没有安装tbox库,则会自动下载安装后使用:

$ xmake

切换到iphoneos平台进行编译,将会重新安装iphoneos版本的tbox库进行链接使用:

$ xmake f -p iphoneos$ xmake

切换到android平台arm64-v8a架构编译:

$ xmake f -p android [--ndk=~/android-ndk-r16b]$ xmake

语义版本设置

xmake的依赖包管理是完全支持语义版本选择的,例如:"~1.6.1",对于语义版本的具体描述见:http://semver.org/

一些语义版本写法:

add_requires("tbox 1.6.*", "pcre 1.3.x", "libpng ^1.18")add_requires("libpng ~1.16", "zlib 1.1.2 || >=1.2.11 <1.3.0")

目前xmake使用的语义版本解析器是uael贡献的sv库,里面也有对版本描述写法的详细说明,可以参考下:版本描述说明

当然,如果我们对当前的依赖包的版本没有特殊要求,那么可以直接这么写:

add_requires("tbox", "libpng", "zlib")

这会使用已知的最新版本包,或者是master分支的源码编译的包,如果当前包有git repo地址,我们也能指定特定分支版本:

add_requires("tbox master")add_requires("tbox dev")

额外的包信息设置

可选包设置

如果指定的依赖包当前平台不支持,或者编译安装失败了,那么xmake会编译报错,这对于有些必须要依赖某些包才能工作的项目,这是合理的。
但是如果有些包是可选的依赖,即使没有也可以正常编译使用的话,可以设置为可选包:

add_requires("tbox", {optional = true})

禁用系统库

默认的设置,xmake会去优先检测系统库是否存在(如果没设置版本要求),如果用户完全不想使用系统库以及第三方包管理提供的库,那么可以设置:

add_requires("tbox", {system = false})

使用调试版本的包

如果我们想同时源码调试依赖包,那么可以设置为使用debug版本的包(当然前提是这个包支持debug编译):

add_requires("tbox", {debug = true})

如果当前包还不支持debug编译,可在仓库中提交修改编译规则,对debug进行支持,例如:

package("openssl")    on_install("linux", "macosx", function (package)        os.vrun("./config %s --prefix=\"%s\"", package:debug() and "--debug" or "", package:installdir())        os.vrun("make -j4")        os.vrun("make install")    end)

传递额外的编译信息到包

某些包在编译时候有各种编译选项,我们也可以传递进来,当然包本身得支持:

add_requires("tbox", {config = {small=true}})

传递--small=true给tbox包,使得编译安装的tbox包是启用此选项的。

使用自建私有包仓库

如果需要的包不在官方仓库xmake-repo中,我们可以提交贡献代码到仓库进行支持。
但如果有些包仅用于个人或者私有项目,我们可以建立一个私有仓库repo,仓库组织结构可参考:xmake-repo

比如,现在我们有一个一个私有仓库repo:git@github.com:myrepo/xmake-repo.git

我们可以通过下面的命令进行仓库添加:

$ xmake repo --add myrepo git@github.com:myrepo/xmake-repo.git

或者我们直接写在xmake.lua中:

add_repositories("my-repo git@github.com:myrepo/xmake-repo.git")

如果我们只是想添加一两个私有包,这个时候特定去建立一个git repo太小题大做了,我们可以直接把包仓库放置项目里面,例如:

projectdir  - myrepo    - packages      - t/tbox/xmake.lua      - z/zlib/xmake.lua  - src    - main.c  - xmake.lua

上面myrepo目录就是自己的私有包仓库,内置在自己的项目里面,然后在xmake.lua里面添加一下这个仓库位置:

add_repositories("my-repo myrepo")

这个可以参考benchbox项目,里面就内置了一个私有仓库。

我们甚至可以连仓库也不用建,直接定义包描述到项目xmake.lua中,这对依赖一两个包的情况还是很有用的,例如:

package("libjpeg")    set_urls("http://www.ijg.org/files/jpegsrc.$(version).tar.gz")    add_versions("v9c", "650250979303a649e21f87b5ccd02672af1ea6954b911342ea491f351ceb7122")    on_install("windows", function (package)        os.mv("jconfig.vc", "jconfig.h")        os.vrun("nmake -f makefile.vc")        os.cp("*.h", package:installdir("include"))        os.cp("libjpeg.lib", package:installdir("lib"))    end)    on_install("macosx", "linux", function (package)        import("package.tools.autoconf").install(package)    end)package_end()add_requires("libjpeg")target("test")    set_kind("binary")    add_files("src/*.c")     add_packages("libjpeg")

包管理命令使用

包管理命令$ xmake require 可用于手动显示的下载编译安装、卸载、检索、查看包信息。

安装指定包

$ xmake require tbox

安装指定版本包:

$ xmake require tbox "~1.6"

强制重新下载安装,并且显示详细安装信息:

$ xmake require -f -v tbox "1.5.x"

传递额外的设置信息:

$ xmake require --extra="debug=true,config={small=true}" tbox

安装debug包,并且传递small=true的编译配置信息到包中去。

卸载指定包

$ xmake require --uninstall tbox

这会完全卸载删除包文件。

移除指定包

仅仅unlink指定包,不被当前项目检测到,但是包在本地还是存在的,如果重新安装的话,会很快完成。

$ xmake require --unlink tbox

查看包详细信息

$ xmake require --info tbox

在当前仓库中搜索包

$ xmake require --search tbox

这个是支持模糊搜素以及lua模式匹配搜索的:

$ xmake require --search pcr

会同时搜索到pcre, pcre2等包。

列举当前已安装的包

$ xmake require --list

仓库管理命令使用

上文已经简单讲过,添加私有仓库可以用(支持本地路径添加):

$ xmake repo --add myrepo git@github.com:myrepo/xmake-repo.git

我们也可以移除已安装的某个仓库:

$ xmake repo --remove myrepo

或者查看所有已添加的仓库:

$ xmake repo --list

如果远程仓库有更新,可以手动执行仓库更新,来获取更多、最新的包:

$ xmake repo -u

提交包到官方仓库

目前这个特性刚完成不久,目前官方仓库的包还不是很多,有些包也许还不支持部分平台,不过这并不是太大问题,后期迭代几个版本后,我会不断扩充完善包仓库。

如果你需要的包,当前的官方仓库还没有收录,可以提交issues或者自己可以在本地调通后,贡献提交到官方仓库:xmake-repo

详细的贡献说明,见:CONTRIBUTING.md

关于远程依赖包的更多说明,可以看下官方文档:远程依赖模式

其实xmake的包管理历经了三代,前两版v1.0, v2.0分别是本地包管理模式,系统库查找模式,这两种在有些情况下还是非常有用的。
关于这两者的介绍,这里就不多说了,可以看下文档说明:依赖包管理

结语

说了这么多,我们最后来看下,新版本提供的一些其他新特性和更新内容:

其他新特性

  • 新增fasm汇编器支持
  • 添加has_config, get_configis_config接口去快速判断option和配置值
  • 添加set_config接口去设置默认配置
  • 添加$xmake --try去尝试构建工程
  • 添加set_enabled(false)去显示的禁用target
  • #69: 添加远程依赖包管理, add_requires("tbox ~1.6.1")
  • #216: 添加windows mfc编译规则

改进

  • 改进Qt编译编译环境探测,增加对mingw sdk的支持
  • 在自动扫描生成的xmake.lua中增加默认debug/release规则
  • #178: 修改mingw平台下的目标名
  • 对于add_files()在windows上支持大小写不敏感路径模式匹配
  • 改进detect.sdks.find_qt对于Qt根目录的探测
  • #184: 改进lib.detect.find_package支持vcpkg
  • #208: 改进rpath对动态库的支持

Bugs修复

  • #177: 修复被依赖的动态库target,如果设置了basename后链接失败问题
  • 修复$xmake f --menu中Exit问题以及cpu过高问题
  • #197: 修复生成的vs201x工程文件带有中文路径乱码问题
  • 修复WDK规则编译生成的驱动在Win7下运行蓝屏问题
  • #205: 修复vcproj工程生成targetdir, objectdir路径设置不匹配问题

原文出处:http://tboox.org/cn/2018/10/13/xmake-update-v2.2.2-package-deps/

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,185评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,445评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,684评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,564评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,681评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,874评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,025评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,761评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,217评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,545评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,694评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,351评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,988评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,778评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,007评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,427评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,580评论 2 349

推荐阅读更多精彩内容

  • 第三方包管理器支持 新版本对内置的包管理进行了重构,已经支持的非常完善了,我们可以通过 方便的安装使用依赖包,但是...
    waruqi阅读 1,332评论 0 48
  • Linux程序包的管理需要依赖程序包管理工具,程序包管理工具可以实现程序的安装、升级、卸载、查询和校验,等等相关操...
    Dream_wdl阅读 641评论 0 3
  • 今天无意中看到一个节目里,嘉宾举例时候说“....大人打小孩是不对的。”然后观众席响起了赞同的笑声和掌声。...
    余闲鱼阅读 485评论 0 1
  • 把包包放下 我要加会班,不要在意我的包包呦! 啦啦啦 下班回家喽 ,咦?你怎么在这? 奥 ,原来是送我包包呀 我不...
    亦有轻悠阅读 135评论 2 0
  • 在一座沿海城市,有一个农村男人爱上了一位城里的姑娘,男人叫大胖,女人叫米娅。他们每到周末都要约好一起去徒步。平时,...
    小宝林子阅读 685评论 1 8