docker部署的gitlab数据迁移

docker部署的gitlab数据迁移

公司gitlab通过docker部署,现在需要将gitlab迁移到其他服务器。

参考网址:

一、备份

  • 备份gitlab镜像

    # 在源服务器执行docker save导出gitlab镜像
    docker save -o gitlabImage.tar gitlab-jh.tencentcloudcr.com/omnibus/gitlab-jh:latest
    # 在源服务器通过scp将gitlab镜像上传到目标服务器
    scp -P 22 ./gitlabImage.tar root@192.168.2.2:/root/
    # 此处使用scp,多次尝试使用rsync备份后目标地址文件大小跟原始文件大小差异很大
    nohup  scp -P 22 /data/gitlab/data/backups/jh_gitlab_backup.tar root@192.168.2.2:/data/git_back_data/ < /root/scp.out
    
  • 备份数据

    # 采用后台运行打印日志的方式备份,防止文件过大导致备份失败
    nohup docker exec -t gitlab gitlab-backup create > /root/gitlab_backup.log 2>&1 &
    
  • 备份配置文件

由于备份数据时并没有备份gitlab.rb 和gitlab-secrets.json配置文件,这两个文件是源gitlab配置文件,包含pg数据库相关的配置。

只需要备份容器内/etc/gitlab映射出来的全部文件即可。

二、恢复

  1. 先用docker-compose启动gitlab
docker-compose -f ./docker-compose-gitlab.yaml up -d
  1. 将备份文件拷贝到gitlab备份目录下,即容器内幕/var/opt/gitlab/backups映射出来的目录.

    # 因为此次备份文件过大,所以直接移动
    mv /data/git_back_data/jh_gitlab_backup.tar /data/gitlab/data/backups/
    
  2. 停止gitlab相关服务

    #先进到容器
    docker exec -it gitlab bash
    #在容器内执行命令停止 unicorn、puma、sidekiq
    gitlab-ctl stop unicorn
    gitlab-ctl stop puma
    gitlab-ctl stop sidekiq
    
  3. 执行恢复命令

    因为此次备份文件为41G,多次尝试容器内直接执行 gitlab-backup restore 和容器外执行docker exec -it gitlab gitlab-backup restore,均因shell界面断连接导致失败。后尝试后台运行脚本,执行 nohup docker exec -it gitlab gitlab-backup restore &,但因为在该脚本执行过程中需要用户输入yes/no,导致命令只运行到解压完备份文件就停止。

    最终选择使用expect命令实现,首先需要有个脚本restore.sh

    #!/usr/bin/expect
    set timeout -1
    spawn docker exec -it gitlab gitlab-backup restore
    expect {
     "yes/no" { send "yes\n";exp_continue }
    }
    

    执行需要用到expect命令

    expect restore.sh
    

    在执行docker exec -it gitlab gitlab-backup restore可能会遇到以下报错:

    Restoring PostgreSQL database gitlabhq_production ... ERROR:  must be owner of extension pg_trgm
    ERROR:  must be owner of extension btree_gist
    ERROR:  must be owner of extension btree_gist
    ERROR:  must be owner of extension pg_trgm
    

    解决方案:

    1). 修改postgresql配置

    $ vim /var/opt/gitlab/postgresql/data/postgresql.conf
    listen_addresses = '*'
    # 最下面新增两行
    $ vim /var/opt/gitlab/postgresql/data/pg_hba.conf
    local   all         all                               trust
    host    all         all                               127.0.0.1/32 trust
    

    2). 重启gitlab服务

    $ gitlab-ctl restart
    ok: run: logrotate: (pid 29367) 1s
    ok: run: nginx: (pid 29371) 0s
    ok: run: postgresql: (pid 29389) 0s
    ok: run: redis: (pid 29391) 0s
    ok: run: sidekiq: (pid 29404) 0s
    ok: run: unicorn: (pid 29413) 0s
    

    3). 修改gitlab账号为超级用户

    $ su - gitlab-psql
    $ /opt/gitlab/embedded/bin/psql -h 127.0.0.1 gitlabhq_production
    psql (9.2.8)
    Type "help" for help.
     
    gitlabhq_production=# ALTER USER gitlab WITH SUPERUSER;
    ALTER ROLE
    gitlabhq_production=# \q
    

    最后不要忘记停止unicorn、puma、sidekiq再执行restore

  4. 执行reconfigure

#将备份的配置文件中gitlab.rb 和gitlab-secrets.json复制到容器映射的配置文件路径
cp /data/git_back_data/config/gitlab.rb  /data/gitlab/data/config/
cp /data/git_back_data/config/gitlab-secrets.json /data/gitlab/data/config/
# 执行reconfigure命令
docker exec -it gitlab-ctl reconfigure
  1. 恢复完成后,启动服务

    gitlab-ctl start
    
  2. 重置root密码

#在gitlab容器内运行进入 Rails 控制台
gitlab-rails console -e production
#执行以下命令来修改 root 用户的密码:
user = User.where(id: 1).first
user.password = '123456'
user.password_confirmation = '123456'
user.save!

三、本地git仓库修改远程仓库地址

删除本地仓库关联的远程地址,添加新的远程仓库地址.

#查看远程仓库地址
git remote -v
D:\code>git remote -v
origin  http://xxx.xxx.1xxx0.xxx:xxxx/some-group/some-project.git (fetch)
origin  http://xxx.xxx.xxx.xxxx:xxxx/some-group/some-project.git (push) 
#删除远程仓库:
git remote rm origin
# 添加新仓库地址:
git remote add origin http://xxx.xxx.xxx.xxx:xxxx/some-project.git
#拉取最新代码
git fetch origin
info: detecting host provider for 'http://xxx.xxx.xxx.xxx:xxxx/'...
info: detecting host provider for 'http://xxx.xxx.xxx.xxx:xxxx/'...
remote: Enumerating objects: 13, done.
remote: Counting objects: 100% (13/13), done.
remote: Compressing objects: 100% (7/7), done.
remote: Total 10 (delta 6), reused 5 (delta 2), pack-reused 0

结果:提交成功! # docker部署的gitlab数据迁移

公司gitlab通过docker部署,现在需要将gitlab迁移到其他服务器。

参考网址:

一、备份

  • 备份gitlab镜像

    # 在源服务器执行docker save导出gitlab镜像
    docker save -o gitlabImage.tar gitlab-jh.tencentcloudcr.com/omnibus/gitlab-jh:latest
    # 在源服务器通过scp将gitlab镜像上传到目标服务器
    scp -P 22 ./gitlabImage.tar root@192.168.2.2:/root/
    # 此处使用scp,多次尝试使用rsync备份后目标地址文件大小跟原始文件大小差异很大
    nohup  scp -P 22 /data/gitlab/data/backups/jh_gitlab_backup.tar root@192.168.2.2:/data/git_back_data/ < /root/scp.out
    
  • 备份数据

    # 采用后台运行打印日志的方式备份,防止文件过大导致备份失败
    nohup docker exec -t gitlab gitlab-backup create > /root/gitlab_backup.log 2>&1 &
    
  • 备份配置文件

由于备份数据时并没有备份gitlab.rb 和gitlab-secrets.json配置文件,这两个文件是源gitlab配置文件,包含pg数据库相关的配置。

只需要备份容器内/etc/gitlab映射出来的全部文件即可。

二、恢复

  1. 先用docker-compose启动gitlab
docker-compose -f ./docker-compose-gitlab.yaml up -d
  1. 将备份文件拷贝到gitlab备份目录下,即容器内幕/var/opt/gitlab/backups映射出来的目录.

    # 因为此次备份文件过大,所以直接移动
    mv /data/git_back_data/jh_gitlab_backup.tar /data/gitlab/data/backups/
    
  2. 停止gitlab相关服务

    #先进到容器
    docker exec -it gitlab bash
    #在容器内执行命令停止 unicorn、puma、sidekiq
    gitlab-ctl stop unicorn
    gitlab-ctl stop puma
    gitlab-ctl stop sidekiq
    
  3. 执行恢复命令

    因为此次备份文件为41G,多次尝试容器内直接执行 gitlab-backup restore 和容器外执行docker exec -it gitlab gitlab-backup restore,均因shell界面断连接导致失败。后尝试后台运行脚本,执行 nohup docker exec -it gitlab gitlab-backup restore &,但因为在该脚本执行过程中需要用户输入yes/no,导致命令只运行到解压完备份文件就停止。

    最终选择使用expect命令实现,首先需要有个脚本restore.sh

    #!/usr/bin/expect
    set timeout -1
    spawn docker exec -it gitlab gitlab-backup restore
    expect {
     "yes/no" { send "yes\n";exp_continue }
    }
    

    执行需要用到expect命令

    expect restore.sh
    

    在执行docker exec -it gitlab gitlab-backup restore可能会遇到以下报错:

    Restoring PostgreSQL database gitlabhq_production ... ERROR:  must be owner of extension pg_trgm
    ERROR:  must be owner of extension btree_gist
    ERROR:  must be owner of extension btree_gist
    ERROR:  must be owner of extension pg_trgm
    

    解决方案:

    1). 修改postgresql配置

    $ vim /var/opt/gitlab/postgresql/data/postgresql.conf
    listen_addresses = '*'
    # 最下面新增两行
    $ vim /var/opt/gitlab/postgresql/data/pg_hba.conf
    local   all         all                               trust
    host    all         all                               127.0.0.1/32 trust
    

    2). 重启gitlab服务

    $ gitlab-ctl restart
    ok: run: logrotate: (pid 29367) 1s
    ok: run: nginx: (pid 29371) 0s
    ok: run: postgresql: (pid 29389) 0s
    ok: run: redis: (pid 29391) 0s
    ok: run: sidekiq: (pid 29404) 0s
    ok: run: unicorn: (pid 29413) 0s
    

    3). 修改gitlab账号为超级用户

    $ su - gitlab-psql
    $ /opt/gitlab/embedded/bin/psql -h 127.0.0.1 gitlabhq_production
    psql (9.2.8)
    Type "help" for help.
     
    gitlabhq_production=# ALTER USER gitlab WITH SUPERUSER;
    ALTER ROLE
    gitlabhq_production=# \q
    

    最后不要忘记停止unicorn、puma、sidekiq再执行restore

  4. 执行reconfigure

#将备份的配置文件中gitlab.rb 和gitlab-secrets.json复制到容器映射的配置文件路径
cp /data/git_back_data/config/gitlab.rb  /data/gitlab/data/config/
cp /data/git_back_data/config/gitlab-secrets.json /data/gitlab/data/config/
# 执行reconfigure命令
docker exec -it gitlab-ctl reconfigure
  1. 恢复完成后,启动服务

    gitlab-ctl start
    
  2. 重置root密码

#在gitlab容器内运行进入 Rails 控制台
gitlab-rails console -e production
#执行以下命令来修改 root 用户的密码:
user = User.where(id: 1).first
user.password = '123456'
user.password_confirmation = '123456'
user.save!

三、本地git仓库修改远程仓库地址

删除本地仓库关联的远程地址,添加新的远程仓库地址.

#查看远程仓库地址
git remote -v
D:\code>git remote -v
origin  http://xxx.xxx.1xxx0.xxx:xxxx/some-group/some-project.git (fetch)
origin  http://xxx.xxx.xxx.xxxx:xxxx/some-group/some-project.git (push) 
#删除远程仓库:
git remote rm origin
# 添加新仓库地址:
git remote add origin http://xxx.xxx.xxx.xxx:xxxx/some-project.git
#拉取最新代码
git fetch origin
info: detecting host provider for 'http://xxx.xxx.xxx.xxx:xxxx/'...
info: detecting host provider for 'http://xxx.xxx.xxx.xxx:xxxx/'...
remote: Enumerating objects: 13, done.
remote: Counting objects: 100% (13/13), done.
remote: Compressing objects: 100% (7/7), done.
remote: Total 10 (delta 6), reused 5 (delta 2), pack-reused 0

结果:提交成功!

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容