在云端搭建自己的代码仓库，本地Push代码，持续集成后自动发布。新版的Gitlab很好地支持这个需求，虽然只是自己使用，但目标还是利用三台云主机搭建一个高可用模式的Gitlab服务。

active-active-gitlab

本文首先实现用Swarm管理集群，部署单主机模式的Gitlab。云主机是收集学生优惠卷1元买来的，单核，1G内存。一开始运行起gitlab，整个系统卡顿了，显然的资源不足。到官网上查看gitlab安装需求才知道现在的资源状况只能实现最不值得推荐的配置：

1 core supports up to 100 users but the application can be a bit slower due to having all workers and background jobs running on the same core
1GB RAM + 3GB of swap is the absolute minimum but we strongly advise against this amount of memory. See the unicorn worker section below for more advice.

查看主机交换区大小发现默认交换区大小为0，因此需要手动增加交换区大小。

增加交换区

生成4G大小的文件在/home目录下文件为swapflie：

$ sudo dd if=/dev/zero of=/home/swapflie bs=1M count=4096
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB) copied, 36.7799 s, 117 MB/s

把这个文件转换成swap分区

$ sudo /sbin/mkswap /home/swapflie

使分区生效

$ sudo /sbin/swapon /home/swapfile

查看分区是否分配成功,(省略了其他指标参数)

$ free -h
             total       used       free     
Swap:         4.0G         0B       4.0G

搭建Gitlab

准备Swarm集群

在资源有限的情况下管理容器集群，Swarm是一个比较好的选择，相比于之前生产环境用的Kubernetes，Swarm操作简单，资源开销小，适合内部环境使用。

如果已经安装了最新版本的docker（目前是1.12.5），docker engine 已经集成了swarm。
可以用下面的命令安装最新发布版本的docker，安装完需要将当前用户加入docker用户组，并重新登录生效。

curl -fsSL https://get.docker.com/ | sh

阅读官方文档，理想情况下用Swarm配合Docker Compose以及Docker Machine可以很方便地构建docker集群。但Docker Machine创建docker环境相当于在云主机上创建另外的虚拟机（如virtual box，默认单核，1G内存）,所以只能手动在云主机上安装相同docker环境，而不使用 Docker Machine。
另外Docker Compose配合Swarm，文档中有比较详细的使用方法，一开始根据这个文档部署环境，结果遇到很多坑，查错的过程中才知道目前这种模式仍在试验阶段，需要安装试验版本（docker 1.13）或者启动试验模式。使用Docker Compose + Swarm模式的方式需要其他方法，一种方式是将docker-compose.yml文件转换成swarm服务的启动方式，有个临时的实现方法，可以试用。

这里没有使用上面的方法，而是全部用命令行方式构建Swarm集群：

初始化集群

Swarm的思想主要是将多台主机抽象成一台manager服务器，通过Swarm来启动docker容器（service）,像直接运行容器一样，不同的是容器会被负载均衡到不同主机。而对于容器的管理则可只在manager机器上进行。Swarm的架构如图：

swarm-arch

这里首先实现两台主机的service部署，managers上运行Swarm集群可视化工具，slave主机上运行gitlab.

登录manager主机,初始化Swarm manage

docker swarm init --advertise-addr 192.168.10.11

命令返回slave节点加入集群的命令，如：

To add a worker to this swarm, run the following command:
 docker swarm join \
 --token SWMTKN-1-5bgo3ocj3mqezig2v3j9mge4aknehgbcueovivzu6mz9supqzg-8igbqrbqhsh0z9l62qrrs0zi0 \
 192.168.10.11:2377

该信息在集群创建成功后也可以在manage主机通过下面命令获得。

docker swarm join-token worker

登录到slave主机，加入集群

通过manage返回的token信息，加入集群

 docker swarm join \
 --token SWMTKN-1-5bgo3ocj3mqezig2v3j9mge4aknehgbcueovivzu6mz9supqzg-8igbqrbqhsh0z9l62qrrs0zi0 \
192.168.10.11:2377

注意我这里的两个主机都是云主机，而且两台主机不在同一个局域网网段，因此需要将manage的内网地址192.168.10.11换成对应的公网IP，才能成功注册。如果两台主机在同一局域网，则可直接添加到集群。

给slave主机添加标签，使manage可以通过标签限定具体slave node，后面可以看到：

docker node  update --add-lable type=gitlab-node1

这里给slave机器添加type=gitlab-node1的标签。

启动Swarm可视化服务

返回到manage主机，通过docker node ls命令查看集群节点状态，一切正常后，启动Swarm可视化服务。官方并没有提供可视化服务，在这里(docker-swarm-visualizer)有一个很好的开源实现,可以直接使用该镜像构建服务。

$ docker service create   --name=swarm_visual   --publish=5001:8080/tcp   --constraint=node.role==manager   --mount=type=bind,src=/var/run/docker.sock,dst=/var/run/docker.sock   manomarks/visualizer

服务启动通过 --constraint=node.role==manager 限定该服务在manage主机运行。并通过将web端口映射到云主机的5001端口。可以通过(公网IP:5001)的方式访问。

创建gitlab数据vloumes

为了方便容器数据的共享，以及后面数据的迁移，选择创建volumes来在本地持久化gitlab容器数据，而不是映射到本地路径。
登录到slave主机，为gitlab创建volumes，volumes的使用可以从后面看到：

$ docker volume create --name gitlab_config
$ docker volume create --name gitlab_logs
$ docker volume create --name gitlab_data

这里创建了三个volumes,分别存储gitlab的配置文件、日志和用户数据。

启动Gitlab服务

在manage主机上可以直接启动gitlab服务，并限定服务在slave主机运行。系统自动会到gitlub上pull相应镜像，并在本地运行。

sudo docker service create \
    --name swarm_gitlab\
    --publish 5002:443 --publish 5003:80 --publish 5004:22 \
    --replicas 1 \
    --mount type=volume,source=gitlab_config,destination=/etc/gitlab \
    --mount type=volume,source=gitlab_logs,destination=/var/log/gitlab \
    --mount type=volume,source=gitlab_data,destination=/var/opt/gitlab \
    --constraint 'node.labels.type == gitlab-node1' \
    gitlab/gitlab-ce:latest

命令中指定服务名为swarm_gitlab，以及http服务（443，80）和ssh服务（22）端口，分别映射到宿主机；指定备份服务数为1，映射本地路径到容器相应路径，这里使用volums的方式；限定在标签type= gitlab-node1的主机上启动服务。

测试

登录到manage主机，查看节点查看服务状态：

$ docker service ls
ID            NAME          REPLICAS  IMAGE                    COMMAND
79c0rvct38j1  swarm_visual  1/1       manomarks/visualizer
dbygi9gx1318  swarm_gitlab  1/1       gitlab/gitlab-ce:latest

$ docker service ps swarm_gitlab
ID                         NAME            IMAGE                    NODE               DESIRED STATE  CURRENT STATE        ERROR
3haqups6rzf8ugobqzyescl21  swarm_gitlab.1  gitlab/gitlab-ce:latest  VM**  Running        Running 9 hours ago

访问manage主机的5001端口，可以看到Swarm集群的状态：

docker-swarm-visulizer

通过docker node的相关命令同样也可以查看集群节点信息。

访问slave主机的5003端口，看到熟悉的Gitlab登录界面，创建初试用户和密码，创建用户组，和测试Project：

gitlab

小结

本文主要实现在有限云主机资源下搭建gitlab服务，这里并没有涉及gitlab的具体配置。这里只是简单构建一个可用的服务，后面再去看gitlab的管理方法，以及服务的稳定性和数据的备份与恢复。此外，第一次使用Swarm，由于资源限制，并没有采用最佳的方式来部署服务。

原创文章，转载请注明出处，点击到我的博客。

更多关注公众号：

wechat