[mydocker]---实现通过容器制作镜像

1. 准备工作

本文承接内容 [mydocker]---一步步实现volume操作 , 由于其实现会让多个容器共用容器层, 这样会导致多个容器之间的数据不隔离, 相互可以访问修改彼此之间的数据. 因此本文将会实现容器层隔离.

1.1 准备环境

root@nicktming:~/go/src/github.com/nicktming/mydocker# git clone https://github.com/nicktming/mydocker.git
root@nicktming:~/go/src/github.com/nicktming/mydocker# git checkout code-5.7
root@nicktming:~/go/src/github.com/nicktming/mydocker# git checkout -b dev-5.7.1

1.2 准备busybox.tar

// 前提条件
root@nicktming:/nicktming# pwd
/nicktming
root@nicktming:/nicktming# ls
busybox.tar

2. code-5.7 存在的问题

2.1 问题

在开始之前先解决一个问题, 在以后台运行容器的形式创建进程时无法将mount进来的文件持久化.

root@nicktming:~/go/src/github.com/nicktming/mydocker# git checkout code-5.7
root@nicktming:~/go/src/github.com/nicktming/mydocker# go build .
root@nicktming:~/go/src/github.com/nicktming/mydocker# ./mydocker run -d -name test -v /nicktming/volume1:/containerVolume busybox /bin/top
2019/04/17 23:33:32 rootPath is empaty, set rootPath: /nicktming
2019/04/17 23:33:32 remove /nicktming/mnt/test/containerVolume, err:remove /nicktming/mnt/test/containerVolume: device or resource busy
2019/04/17 23:33:32 remove /nicktming/writerLayer/test, err:remove /nicktming/writerLayer/test: device or resource busy
root@nicktming:~/go/src/github.com/nicktming/mydocker# ./mydocker ps
ID                     NAME        PID         STATUS      COMMAND     CREATED
15555152121560770321   test        14321       running     /bin/top    2019-04-17 23:33:32
root@nicktming:~/go/src/github.com/nicktming/mydocker# ps -ef | grep top
root     14321     1  0 23:33 pts/2    00:00:00 /bin/top
root     14364 13802  0 23:34 pts/2    00:00:00 grep --color=auto top
root@nicktming:~/go/src/github.com/nicktming/mydocker# ./mydocker exec -it test /bin/sh
root@nicktming:~/go/src/github.com/nicktming/mydocker# ./mydocker exec test /bin/sh
2019/04/17 23:34:44 containerName:test,command:/bin/sh
/ # ls
bin   dev   etc   home  proc  root  sys   tmp   usr   var
/ # exit
root@nicktming:~/go/src/github.com/nicktming/mydocker#

所以code-5.7分支中存在此问题, 当再次进入到容器中的时候, 看不到containerVolume.

2.2 实现

原因: 出现上面的情况是因为Run方法在不是-d参数表示后台运行的时候在父进程退出时会调用ClearWorkDir(newRootPath, containerName, volumes)方法, 所以当再次进入到容器的时候看不到mount的文件.

解决:

1. 在Run方法中判断如果是以后台运行的形式启动容器则不调用ClearWorkDir方法, 在stop命令的时候需要调用该方法.
2. 如果是以tty的形式启动容器则在子进程运行结束后应该调用ClearWorkDir方法.

2.2.1 修改Run方法

修改Run方法如下: 关于RecordContainerInfo方法中加入了volumes和newRootPath变量, 这是因为在Stop方法中需要调用ClearWorkDir(newRootPath, containerName, volumes)方法做清除操作, 因此需要将该变量保存到容器的metadata中.

func Run(command string, tty bool, cg *cgroups.CroupManger, rootPath string, volumes []string, containerName, imageName string)  {
    ...
    //defer ClearWorkDir(newRootPath, containerName, volumes)
    ...

    cg.Set()
    //defer cg.Destroy()
    cg.Apply(strconv.Itoa(cmd.Process.Pid))

    RecordContainerInfo(strconv.Itoa(cmd.Process.Pid), containerName, id, command, volumes, newRootPath)

    // false 表明父进程(Run程序)无须等待子进程(Init程序,Init进程后续会被用户程序覆盖)
    if tty {
        cmd.Wait()
        DeleteContainerInfo(containerName)
        ClearWorkDir(newRootPath, containerName, volumes)
        cg.Destroy()
    }
}

对应的结构体改变如下: (增加Volumes和RootPath变量)

type ContainerInfo struct {
    Pid         string      `json:"pid"`
    Id          string      `json:"id"`
    Name        string      `json:"name"`
    Command     string      `json:"command"`
    CreateTime  string      `json:"createTime"`
    Status      string      `json:"status"`
    Volumes     []string    `json:"volumes"`
    RootPath    string      `json:"rootPaths"`
}

修改RecordContainerInfo方法

func RecordContainerInfo(pid, name, id, command string, volumes []string, rootPath string) error {
    containerInfo := &ContainerInfo {
        Pid:        pid,
        Id:         id,
        Name:       name,
        Command:    command,
        CreateTime: time.Now().Format("2006-01-02 15:04:05"),
        Status:     RUNNING,
        Volumes:    volumes,
        RootPath:   rootPath,
    }
    ...
}

2.2.2 修改stop方法

有了上面的操作, 在stop容器的时候就可以获得RootPath和Volumes这两个变量了, 调用ClearWorkDir方法做清理工作.

func Stop(containerName string)  {
    ...
    log.Printf("rootPath:%s\n", containerInfo.RootPath)
    log.Println(containerInfo.Volumes)
    ClearWorkDir(containerInfo.RootPath, containerName, containerInfo.Volumes)
}

2.2.3 测试

root@nicktming:~/go/src/github.com/nicktming/mydocker# go build .
root@nicktming:~/go/src/github.com/nicktming/mydocker# ./mydocker run -d -name test -v /nicktming/volume1:/containerVolume busybox /bin/top
2019/04/18 00:05:26 rootPath is empaty, set rootPath: /nicktming
root@nicktming:~/go/src/github.com/nicktming/mydocker# ./mydocker ps
ID                     NAME        PID         STATUS      COMMAND     CREATED
15555171266202920071   test        17471       running     /bin/top    2019-04-18 00:05:26
root@nicktming:~/go/src/github.com/nicktming/mydocker# ./mydocker exec test /bin/sh
2019/04/18 00:05:46 containerName:test,command:/bin/sh
/ # ls -l
total 48
drwxr-xr-x    2 root     root         12288 Feb 14 18:58 bin
drwxr-xr-x    4 root     root          4096 Apr 17 16:05 containerVolume
drwxr-xr-x    4 root     root          4096 Mar 17 16:05 dev
drwxr-xr-x    3 root     root          4096 Mar 17 16:05 etc
drwxr-xr-x    2 nobody   nogroup       4096 Feb 14 18:58 home
dr-xr-xr-x  108 root     root             0 Apr 17 16:05 proc
drwx------    2 root     root          4096 Apr 17 16:05 root
drwxr-xr-x    2 root     root          4096 Mar 17 16:05 sys
drwxrwxrwt    2 root     root          4096 Feb 14 18:58 tmp
drwxr-xr-x    3 root     root          4096 Feb 14 18:58 usr
drwxr-xr-x    4 root     root          4096 Feb 14 18:58 var
/ # echo "container test: test01" > containerVolume/test01.txt
/ # cat containerVolume/test01.txt 
container test: test01
/ # exit
root@nicktming:~/go/src/github.com/nicktming/mydocker# ./mydocker stop test
2019/04/18 00:06:33 rootPath:/nicktming
2019/04/18 00:06:33 [/nicktming/volume1:/containerVolume]
root@nicktming:~/go/src/github.com/nicktming/mydocker# ./mydocker rm test
root@nicktming:~/go/src/github.com/nicktming/mydocker# ls -l /nicktming/volume1/
total 4
-rw-r--r-- 1 root root 23 Apr 18 00:06 test01.txt
root@nicktming:~/go/src/github.com/nicktming/mydocker# cat /nicktming/volume1/test01.txt 
container test: test01
root@nicktming:~/go/src/github.com/nicktming/mydocker#

这个时候再次进入到容器中就可以把数据持久化了.

3. 通过容器制作镜像

通过容器制作镜像其实也很简单, 镜像其实就是由一些文件组成, 因此直接将运行中的容器打包就可以组成一个新的镜像.

3.1 修改

由于在[mydocker]---实现保存镜像已经实现了保存镜像, 但是当时并没有做容器层隔离, 默认就是当前容器, 因此本文将会对此做一点修改.

command/command.go中修改CommitCommand如下:

var CommitCommand = cli.Command{
    Name: "commit",
    Action: func(c *cli.Context) error {
        //imageName := c.Args().Get(0)
        containerName := c.Args().Get(0)
        imageName := c.Args().Get(1)
        Commit(containerName, imageName)
        return nil
    },
}

command/commit.go修改如下:

func Commit(containerName, imageName string) {
    //mntPath := DEFAULTPATH + "/mnt"
    //imageTar := DEFAULTPATH + "/" + imageName + ".tar"
    containerInfo, err := GetContainerInfo(containerName)
    if err != nil {
        fmt.Errorf("GetContainerInfo error:%v\n", err)
        return
    }
    mntPath  := containerInfo.RootPath + "/mnt/" + containerName
    imageTar := containerInfo.RootPath + "/" + imageName + ".tar"
    log.Printf("mntPath:%s, imageTar:%s\n", mntPath, imageTar)
    if _, err := exec.Command("tar", "-czf", imageTar, "-C", mntPath, ".").CombinedOutput(); err != nil {
        log.Printf("Error: tar -czf %s -C %s .; err:%v\n", imageTar, mntPath, err)
    }
}

3.2 测试

---------------------------------------terminal 01--------------------------------------------
root@nicktming:/nicktming# pwd
/nicktming
root@nicktming:/nicktming# ls
busybox.tar

// 启动两个容器 container01 container02
---------------------------------------terminal 02--------------------------------------------
root@nicktming:~/go/src/github.com/nicktming/mydocker# ./mydocker run -d -name container01 -v /nicktming/from1:/to1 busybox /bin/top
2019/04/18 22:25:24 rootPath is empaty, set rootPath: /nicktming
root@nicktming:~/go/src/github.com/nicktming/mydocker# ./mydocker run -d -name container02 -v /nicktming/from2:/to2 busybox /bin/top
2019/04/18 22:25:56 rootPath is empaty, set rootPath: /nicktming
root@nicktming:~/go/src/github.com/nicktming/mydocker# ./mydocker ps
ID                     NAME          PID         STATUS      COMMAND     CREATED
15555975245549425111   container01   14158       running     /bin/top    2019-04-18 22:25:24
15555975563445863921   container02   14218       running     /bin/top    2019-04-18 22:25:56
root@nicktming:~/go/src/github.com/nicktming/mydocker# ./mydocker exec container01 /bin/sh
2019/04/18 22:26:27 containerName:container01,command:/bin/sh
/ # echo -e "hello container1" >> /to1/test1.txt
/ # mkdir to1-1
/ # echo -e "hello cotainer1,to-1,test1" >> /to1-1/test1.txt
/ # exit
root@nicktming:~/go/src/github.com/nicktming/mydocker# 
root@nicktming:~/go/src/github.com/nicktming/mydocker# ./mydocker commit container01 image1

// 查看宿主机内容
---------------------------------------terminal 01--------------------------------------------
root@nicktming:/nicktming# cat mnt/container01/to1-1/test1.txt 
hello cotainer1,to-1,test1
root@nicktming:/nicktming# cat mnt/container01/to1/test1.txt 
hello container1
root@nicktming:/nicktming# ls
busybox  busybox.tar  from1  from2  image1.tar  mnt  writerLayer
root@nicktming:/nicktming# 

// 删除容器container01 根据image1镜像启动容器container03 查看是否有to1,to1-1文件夹
---------------------------------------terminal 02--------------------------------------------
root@nicktming:~/go/src/github.com/nicktming/mydocker# ./mydocker stop container01
2019/04/18 22:35:10 rootPath:/nicktming
2019/04/18 22:35:10 [/nicktming/from1:/to1]
root@nicktming:~/go/src/github.com/nicktming/mydocker# ./mydocker rm container01
root@nicktming:~/go/src/github.com/nicktming/mydocker# ./mydocker ps
ID                     NAME          PID         STATUS      COMMAND     CREATED
15555975563445863921   container02   14218       running     /bin/top    2019-04-18 22:25:56
root@nicktming:~/go/src/github.com/nicktming/mydocker# ./mydocker run -d -name container03 image1 /bin/top
2019/04/18 22:37:50 rootPath is empaty, set rootPath: /nicktming
root@nicktming:~/go/src/github.com/nicktming/mydocker# ./mydocker ps
ID                     NAME          PID         STATUS      COMMAND     CREATED
15555975563445863921   container02   14218       running     /bin/top    2019-04-18 22:25:56
15555982709688329991   container03   15433       running     /bin/top    2019-04-18 22:37:50
root@nicktming:~/go/src/github.com/nicktming/mydocker# ./mydocker exec container03 /bin/sh
2019/04/18 22:38:08 containerName:container03,command:/bin/sh
/ # ls -l
total 52
drwxr-xr-x    2 root     root         12288 Feb 14 18:58 bin
drwxr-xr-x    4 root     root          4096 Mar 17 16:05 dev
drwxr-xr-x    3 root     root          4096 Mar 17 16:05 etc
drwxr-xr-x    2 nobody   nogroup       4096 Feb 14 18:58 home
dr-xr-xr-x   97 root     root             0 Apr 18 14:37 proc
drwx------    2 root     root          4096 Apr 18 14:38 root
drwxr-xr-x    2 root     root          4096 Mar 17 16:05 sys
drwxrwxrwt    2 root     root          4096 Feb 14 18:58 tmp
drwxr-xr-x    2 root     root          4096 Apr 18 14:26 to1
drwxr-xr-x    2 root     root          4096 Apr 18 14:27 to1-1
drwxr-xr-x    3 root     root          4096 Feb 14 18:58 usr
drwxr-xr-x    4 root     root          4096 Feb 14 18:58 var
// 文件夹存在 文件内容也存在 
/ # cat to1/test1.txt 
hello container1
/ # cat to1-1/test1.txt 
hello cotainer1,to-1,test1
/ # exit
root@nicktming:~/go/src/github.com/nicktming/mydocker# 

// 再次根据镜像image1启动 并且用宿主机中的from5映射到容器的/to1 
//根据aufs原理可知容器层的内容会覆盖镜像层的内容, 因此/to1/test1.txt的内容为hello container05
root@nicktming:~/go/src/github.com/nicktming/mydocker# mkdir -p /nicktming/from5 && echo "hello container05" > /nicktming/from5/test1.txt
root@nicktming:~/go/src/github.com/nicktming/mydocker# cat /nicktming/from5/test1.txt 
hello container05
root@nicktming:~/go/src/github.com/nicktming/mydocker# ./mydocker run -it -name container05 -v /nicktming/from5:/to1 image1 /bin/sh
2019/04/18 22:45:06 rootPath is empaty, set rootPath: /nicktming
2019/04/18 22:45:06 current path: /nicktming/mnt/container05.
/ # ls -l 
total 52
drwxr-xr-x    2 root     root         12288 Feb 14 18:58 bin
drwxr-xr-x    4 root     root          4096 Mar 17 16:05 dev
drwxr-xr-x    3 root     root          4096 Mar 17 16:05 etc
drwxr-xr-x    2 nobody   nogroup       4096 Feb 14 18:58 home
dr-xr-xr-x   97 root     root             0 Apr 18 14:45 proc
drwx------    2 root     root          4096 Apr 18 14:45 root
drwxr-xr-x    2 root     root          4096 Mar 17 16:05 sys
drwxrwxrwt    2 root     root          4096 Feb 14 18:58 tmp
drwxr-xr-x    4 root     root          4096 Apr 18 14:45 to1
drwxr-xr-x    2 root     root          4096 Apr 18 14:27 to1-1
drwxr-xr-x    3 root     root          4096 Feb 14 18:58 usr
drwxr-xr-x    4 root     root          4096 Feb 14 18:58 var
/ # cat to1
to1-1/  to1/
/ # cat to1/test1.txt 
hello container05

4. 时序图

commit-container.png

5. 参考

1. 自己动手写docker.(基本参考此书,加入一些自己的理解,加深对docker的理解)

6. 全部内容

mydocker.png

1. [mydocker]---环境说明
2. [mydocker]---urfave cli 理解
3. [mydocker]---Linux Namespace
4. [mydocker]---Linux Cgroup
5. [mydocker]---构造容器01-实现run命令
6. [mydocker]---构造容器02-实现资源限制01
7. [mydocker]---构造容器02-实现资源限制02
8. [mydocker]---构造容器03-实现增加管道
9. [mydocker]---通过例子理解存储驱动AUFS
10. [mydocker]---通过例子理解chroot 和 pivot_root
11. [mydocker]---一步步实现使用busybox创建容器
12. [mydocker]---一步步实现使用AUFS包装busybox
13. [mydocker]---一步步实现volume操作
14. [mydocker]---实现保存镜像
15. [mydocker]---实现容器的后台运行
16. [mydocker]---实现查看运行中容器
17. [mydocker]---实现查看容器日志
18. [mydocker]---实现进入容器Namespace
19. [mydocker]---实现停止容器
20. [mydocker]---实现删除容器
21. [mydocker]---实现容器层隔离
22. [mydocker]---实现通过容器制作镜像
23. [mydocker]---实现cp操作
24. [mydocker]---实现容器指定环境变量
25. [mydocker]---网际协议IP
26. [mydocker]---网络虚拟设备veth bridge iptables
27. [mydocker]---docker的四种网络模型与原理实现(1)
28. [mydocker]---docker的四种网络模型与原理实现(2)
29. [mydocker]---容器地址分配
30. [mydocker]---网络net/netlink api 使用解析
31. [mydocker]---网络实现
32. [mydocker]---网络实现测试

最后编辑于：2019.05.12 09:05:09

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 216,372评论 6赞 498
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 92,368评论 3赞 392
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 162,415评论 0赞 353
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,157评论 1赞 292
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,171评论 6赞 388
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,125评论 1赞 297
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,028评论 3赞 417
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,887评论 0赞 274
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,310评论 1赞 310
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,533评论 2赞 332
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,690评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,411评论 5赞 343
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,004评论 3赞 325
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,659评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,812评论 1赞 268
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,693评论 2赞 368
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,577评论 2赞 353

[mydocker]---实现通过容器制作镜像

1. 准备工作

1.1 准备环境

1.2 准备busybox.tar

2. code-5.7 存在的问题

2.1 问题

2.2 实现

2.2.1 修改Run方法

2.2.2 修改stop方法

2.2.3 测试

3. 通过容器制作镜像

3.1 修改

3.2 测试

4. 时序图

5. 参考

6. 全部内容

推荐阅读更多精彩内容