自动化运维持续集成

互联网软件的开发和发布,已经形成了一套标准流程,最重要的组成部分就是持续集成(Continuous integration,简称 CI)

持续集成的目的,就是让产品可以快速迭代,同时还能保持高质量。

它的核心措施是,代码集成到主干之前,必须通过自动化测试。只要有一个测试用例失败,就不能集成。

讨论关注以下几点:

  1. 持续集成概念的理解。
  2. 了解持续交付和持续部署。
  3. 熟悉持续集成操作流程。

一、概述

持续集成流程:

开发团队 -> 源代码编码(开发语言)-> 代码版本控制(Gitlab) -> Docker 构建(创建镜像)-> 静态代码分析(白盒测试)-> 自动化单元测试 -> 代码覆盖率(覆盖率测试)-> Docker 版本(发布到容器)-> 提供部署到测试环境 -> 自动化功能测试 -> 发布报告 -> 生产部署

二、持续集成

  1. CI 过程:代码编写 -> 源代码库(GitHub or gitlab)-> CI 服务器(代码构建、自动化测试、结果反馈【构建结果】)
  2. 涉及 CI 工具:Jenkins、Travis CI、TeamCity、Gitlab CI、CircleCI、Codeship 等,相关资料可以查询对应的官网,其中应用广泛的 Jenkins 和 Travis CI,Gitlab CI 是开源的 Rails 项目 GitLab 的一个组成部分,GitLab CI 能与 GitLab 完全集成,可以通过使用 GitLab API 轻松地作为项目的钩子。
持续集成构建目的:
  1. 及早发现集成错误,且由于修订的内容较小所以易于追踪,这可以节省专案的时间与成本。
  2. 避免发布日期的前一分钟发生混乱,当每个人都会尝试为他们所造成的那一点点不相容的版本做检查。
  3. 当单元测试失败或发生错误,若开发人员需要在不除错的情况下还原程式码库到一个没有问题的状态,只需要放弃一小部份的更改(因为集成的次数频繁)。
  4. 让“最新”的程式可保持可用的状态供测试、展示或发布用。
  5. 频繁的提交程式码会促使开发人员建立模组化,低复杂性的程式码。
持续集成自动化测试目的:
  1. 强制执行频繁的自动化测试纪律
  2. 当改变对全系统造成影响时立即反馈
  3. 自动化测试和持续性集成产生的软件度量(如代码覆盖度量,代码复杂度和功能完整性等)标准将开发人员集中在开发功能性,高品质的程式码上,并帮助开发团队发展。
持续集成存在的问题:
  1. 构建一个自动化测试套件需要大量的工作,包括不断努力以覆盖新功能,并依照特定情境进行程式码修改,持续性集成可以在不需要测试套件下执行,但是必须手动和经常地完成,生产产品的品质保证成本将会提高。
  2. 构建构建系统需要一些工作,而且可能变得复杂,难以灵活修改。但是,也有一些开放源代码的持续集成的专案软件可以使用。
  3. 如果范围很小或包含无法测试的旧版代码,持续性集成不一定有价值。
  4. 增加的价值取决于测试的品质以及代码的真实可测性。
  5. 较大的团队意味著不断将代码添加到集成队列中,因此追踪交付(同时保持品质)很困难,而排队可能会减慢所有人的进度。
  6. 通过一天的多次提交和合并,功能的部分代码可以轻松推送,如此一来集成测试将会失败直到整个功能开发完成。

三、持续交付(Continuous delivery,缩写为 CD)

持续集成 -> 再次测试 -> 结果发布

  1. CD 是一种软件工程手法,让软件产品的产出过程在一个短周期内完成,以保证软件可以稳定、持续的保持在随时可以释出的状况。它的目标在于让软件的建立、测试与释出变得更快以及更频繁。这种方式可以减少软件开发的成本与时间,减少风险。

  2. 持续交付与 DevOps 的含义很相似,所以经常被混淆。但是它们是不同的两个概念。DevOps 的范围更广,它以文化变迁为中心,特别是软件交付过程所涉及的多个团队之间的合作(开发、运维、QA、管理部门等),并且将软件交付的过程自动化。另一方面,持续交付是一种自动化交付的手段,关注点在于将不同的过程集中起来,并且更快、更频繁地执行这些过程。因此,DevOps 可以是持续交付的一个产物,持续交付直接汇入 DevOps。

  3. 持续交付也与持续部署混淆。持续部署意味著所有的变更都会被自动部署到生产环境中。持续交付意味著所有的变更都可以被部署到生产环境中,但是出于业务考虑,可以选择不部署。如果要实施持续部署,必须先实施持续交付。

四、持续部署(Continuous Deployment)

持续部署则是在持续交付的基础上,把所有的变更自动部署到生产环境中。

  • 通过以上步骤后,形成一个最终可以部署的版本(artifact),并将相关的版本打包成便于部署的文件包,如:tar.gz、jar 包、war 包等,发布到生产环境。
  • 架设 nexus 私服从内网获取下载依赖库,使用 nexus 私服仅在依赖库第一次获取时需要从中央仓库或其他 maven 仓库中获取,之后便可从内网获取。生产服务器将打包文件,解包成本地的一个目录,再将运行路径的符号链接(symlink)指向这个目录,然后重新启动应用。这方面的部署工具有 Ansible、Chef、Puppet 等。
  • 通过配置管理工具将相应的程序包和配置文件及相关命令或脚本发布到生产服务器,并根据相关的操作来完成这一部署过程。整个部署过程按照(如:ansible-playbook 执行 playbook.yml 来完成)

五、持续集成操作流程

编码 -> 构建 -> 整合 -> 测试 -> 交付 -> 部署 -> 回滚

  • 代码编写,完成代码功能模块。
  • 构建,实现功能模块构建测试,保证该模块当前的可用状态。
  • 测试,单元测试和集成测试,保证各个功能模块的完整性和稳定性。
  • 交付,建立在CI基础上,让软件的构建、测试与最终版本变得更快以及更频繁。
  • 部署,是在持续交付的基础上,把部署到生产环境的过程自动化。
  • 回滚,一旦当前版本发生问题,就要回滚到上一个版本的构建结果。最简单的做法就是修改一下符号链接,指向上一个版本的目录。
Docker + Jenkins + Git 发布 Java 项目持续构建案例

Java 项目开发 -> 提交项目代码 Git 容器 -> Jenkins 容器拉取项目代码 -> Maven 编译构建项目 -> Jenkins 发布项目到 Tomcat 容器 -> 测试

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,376评论 6 491
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,126评论 2 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 156,966评论 0 347
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,432评论 1 283
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,519评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,792评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,933评论 3 406
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,701评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,143评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,488评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,626评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,292评论 4 329
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,896评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,742评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,977评论 1 265
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,324评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,494评论 2 348

推荐阅读更多精彩内容

  • <<互联网敏捷DevOps和自动化之5.持续集成>>持续集成的价值是什么?对于开发和测试人员又意味着什么呢?1.1...
    燕京博士阅读 2,778评论 0 5
  • 部署自动打包环境 概述 基于Gitlab-CICD配置的自动打包环境。 在Gitlab上创建Tag时,会执行包含D...
    Wurq阅读 2,082评论 0 0
  • 打卡日期:2019年3月31日 90天打卡累计天数:57\90 #宣言(如:带着蜗牛去散步 ,慢以至远)# 孩子第...
    拂晓的时光机阅读 232评论 0 1
  • 天上的鸟和海里的鱼不同 现在的你和过去的你不同 鸟儿会说话 鱼儿会唱歌 你走了很多地方 听了很多话 学会了骗人 骗...
    栗子妖阅读 221评论 0 0
  • 知道报了这个夏令营,我当时是激动的呀,有CS,骑马,还有罗马大战,都是我喜欢玩儿的,平常也玩不到的。可看着通知书上...
    蓝苏儿阅读 277评论 0 0