姓名：崔少杰 学号：16040510021
转载自：//www.greatytc.com/p/fdc44bb41a39=有修改
【嵌牛导读】：基于DC/OS建立分布式机器学习系统
【嵌牛鼻子】：scheduler、server、worker
【嵌牛提问】：如何快速高效的建立分布式机器学习系统？
【嵌牛正文】：之前基于ps-lite实现了word2vec。下一步就是让这个算法能够分布式的跑起来。最简单的分布式方案大概是如下几步：把二进制文件copy到你要跑的机器上。
把每个进程需要读的数据文件copy到相应的地方。
当然，这一切都可以用一个脚本基于SSH来实现。但是会遇到几个问题：
你要跑的机器上有没有足够的CPU和内存资源。
你和别人的程序共同依赖了同一个动态库的不同版本。
你跑的过程中，你的进程被别人不小心kill掉了。
原来启动scheduler的机器IP换了，woker和server都要修改他们依赖的scheduler的地址。
新增加了一批机器，可以跑更多的进程了。
每次都要copy数据文件，每个进程读不同的文件。
......
为了解决上面的问题，你需要3个东西：
分布式的操作系统，来管理每台机器的CPU和内存。
分布式文件系统解决文件的存储和读写。
虚拟机系统来解决不同项目的不同版本的依赖 （当然你可以通过给每个程序都做一个单独的依赖库的目录，但如果依赖特别复杂，甚至是系统的某个底层依赖不同，就比较麻烦）。
而DCOS就是为了解决1，3而设计的。他是mesos+marathon+docker（其实DCOS是一个基于mesos的分布式操作系统，marathon，docker只是他的组件）。
mesos负责分布式的CPU和内存管理。
marathon是基于mesos的封装，提供rest API来使用mesos管理进程。
docker是一个虚拟机系统来保证不同人的程序所依赖的版本不会冲突。
下面详细介绍如何将ps-lite跑在DCOS上。ps-lite有3种类型的服务：
worker: 负责读取训练数据，更新参数。
server：负责存储参数，worker本地的参数会定时和server同步。
scheduler：负责服务发现，worker和server通过scheduler才知道各自在哪里。同时也负责worker和server的进程同步。比如要同时开始工作。只有一台。他的IP和端口事先需要知道，并通过环境变量在启动时告诉worker和server。
因为同一台宿主机上可能会启动多个worker和server。所以worker和server工作的端口不能事先指定，只能随机使用没有被占用的端口。
之前很多集成ps-lite的分布式系统时，都只解决了worker和server的分布式问题（比如用yarn来调度worker和server），而scheduler是找了一台机器单独部署的，这样scheduler的IP／端口事先就能知道并告诉worker和server。但是我希望把scheduler也启动在分布式系统中，方法如下：
将scheduler的任务命名为 sch，并在marathon中启动。同时指定一个端口（比如10000）。并且让docker使用HOST网络模式（用HOST模式是因为性能比较好，而ps-lite又是个网络性能要求很高的应用），且绑定到10000端口。这时，利用mesos-dns, scheduler会自动被赋予一个 sch.marathon.mesos 的域名，然后通过环境变量告诉worker和server。
worker和server原来会随机找端口。需要改成启动时docker被分配随机可用端口，并通过环境变量传给worker/server，然后worker/server绑定该端口。marathon提供了$PORT的环境变量来完成这个任务。
搞定服务发现，剩下就是分布式文件系统了。最简单可以用moosefs，然后mount到每台mesos-slave的机器。
{
"id": "/sw2vscheduler",
"cmd": null,
"cpus": 1,
"mem": 128,
"disk": 0,
"instances": 1,
"container": {
"type": "DOCKER",
"volumes": [],
"docker": {
"image": "registry.aliyuncs.com/xlvector/sw2v",
"network": "HOST",
"privileged": false,
"parameters": [],
"forcePullImage": true
}
},
"env": {
"LD_LIBRARY_PATH": "/tmp/sw2v/ps-lite/deps/lib",
"DMLC_PS_ROOT_URI": "sw2vscheduler.marathon.mesos",
"DMLC_NUM_WORKER": "4",
"DMLC_ROLE": "scheduler",
"DMLC_NUM_SERVER": "1",
"DMLC_PS_ROOT_PORT": "18001"
},
"portDefinitions": [
{
"port": 18001,
"protocol": "tcp",
"labels": {}
}
]
}
{
"id": "/sw2vserver",
"cmd": null,
"cpus": 1,
"mem": 1200,
"disk": 0,
"instances": 1,
"container": {
"type": "DOCKER",
"volumes": [],
"docker": {
"image": "registry.aliyuncs.com/xlvector/sw2v",
"network": "HOST",
"privileged": false,
"parameters": [],
"forcePullImage": true
}
},
"env": {
"LD_LIBRARY_PATH": "/tmp/sw2v/ps-lite/deps/lib",
"DMLC_PS_ROOT_URI": "sw2vscheduler.marathon.mesos",
"DMLC_NUM_WORKER": "4",
"DMLC_ROLE": "server",
"DMLC_NUM_SERVER": "1",
"SW2V_DATA": "/mnt/dcos/text8",
"DMLC_PS_ROOT_PORT": "18001"
},
"portDefinitions": [
{
"port": 10004,
"protocol": "tcp",
"labels": {}
}
]
}
{
"id": "/sw2vworker",
"cmd": null,
"cpus": 1,
"mem": 128,
"disk": 0,
"instances": 4,
"container": {
"type": "DOCKER",
"volumes": [
{
"containerPath": "/mnt/dcos",
"hostPath": "/mnt/dcos",
"mode": "RO"
}
],
"docker": {
"image": "registry.aliyuncs.com/xlvector/sw2v",
"network": "HOST",
"privileged": false,
"parameters": [],
"forcePullImage": true
}
},
"env": {
"LD_LIBRARY_PATH": "/tmp/sw2v/ps-lite/deps/lib",
"DMLC_PS_ROOT_URI": "sw2vscheduler.marathon.mesos",
"DMLC_NUM_WORKER": "4",
"DMLC_ROLE": "worker",
"DMLC_NUM_SERVER": "1",
"SW2V_DATA": "/mnt/dcos/text8",
"DMLC_PS_ROOT_PORT": "18001"
},
"portDefinitions": [
{
"port": 10003,
"protocol": "tcp",
"labels": {}
}
]
}
