【解析】python分布式搭建

非常开心,解决了很久都没有解决的问题

使用的语言: Python3.5
分布式机器: windows7

注意到,其实,通过这工具搭建分布式不需要管使用的电脑是什么系统。

分布式使用流程

Title:使用分布式系统
用户->分布式Scheduler: 发送任务
分布式Scheduler->分布式worker1: 计算任务一
分布式Scheduler->分布式worker2: 计算任务二
分布式Scheduler->分布式worker3: 计算任务三
分布式Scheduler->分布式worker...: 计算任务...


分布式worker1-->分布式Scheduler: 计算任务一结果
分布式worker2-->分布式Scheduler: 计算任务二结果
分布式worker3-->分布式Scheduler: 计算任务三结果
分布式worker...-->分布式Scheduler: 计算任务...结果

分布式Scheduler-->>用户: 计算结果

分布式结构

  • 由Scheduler跟Worker1,Worker2...构成了整个分布式系统的结构
  • 用户可以变,用户的任务也可以变。但只要分布式集群的结构搭建起来之后,要做的事情就可以用很多了。
  • 关键的一点:,使用的时候不要去改变分布式系统。
  • 用户将任务发出来,也就是说,用户自己单独在一台电脑上运行代码就好了。 交给搭建好的分布式集群系统!

上面是关于分布式系统的基本概念(或者必要知识。

下面开始讲述搭建过程

搭建分布式

  • 这里使用的是Python的分布式库Dask。
  • 先安装这个库。具体方法:在命令行下输入pip install dask[complete] (如果已经安装好这个库了就会提示已经安装好了)

库是一定要安装的。而且这个库特别小。1MB左右???大胆下吧

  • 之前流程图中每一个单位,其实都是一台电脑来的。(当然,你开多个窗口,在一台电脑上,其实也是可以的。
  • 首先,在一台电脑上(命令行条件下, 输入dask-scheduler。就会爆出一堆的信息。其中有个地方很关键
这里写图片描述
  • 在我这,就是使用那个tcp://,后面的那个地址,加上端口号。
  • 而这个地址,就是未来要给,用户使用的地址
  • 多台电脑上,同样打开电脑。打开命令行模式, 输入:dask-worker 192.168.0.199:8786注意到,这里的这个地址其实就是刚刚说到的那个地址,每个人的结果都会是不一样的。大家根据自己的情况来决定。
  • 每个电脑根据自己的身份输入上面的代码,之后。 在scheduler电脑,上的信息出现了别的信息之后。就连接成功了。
  • 如果不成功,请再输入一次之前的代码。你肯定是哪里输入错了!!!

到这里,分布式系统,其实已经搭建好了。下面,模拟用户来使用

用户是一台新的电脑(当然,也可以是任何的一台电脑。但是必须要跟这些电脑都在同样的一个局域网下。在这样的条件下,开始使用,我们之前搭建好的服务器。

下面是我在一个一台电脑上运行的写的代码
记得!,要把client上的IP地址跟端口号都写成之前Scheduler的IP地址跟端口号

  • 可以理解,Scheduler是整个分布式系统的给用户的接口。

下面是我用代码:

from dask.distributed import Client
from time import time


def square(x):
    return x ** 2


if __name__ == '__main__':
    MAX = 1000
    st = time()
    client = Client('192.168.0.199:8786')   # 这里的地址记得根据我上面说的修改掉。
    A = client.map(square, range(MAX))
    total = client.submit(sum, A)
    print(total.result())
    et = time()
    print(et - st)

这是输出的结果:

332833500
0.6459999084472656

后记

这个框架搭建好,以后,我们以后就只需要通过修改函数的本质,就可以实现关于分布式了。
有人可能会说,这么简单的分布式,为什么工资会高?
我想给有这样想法的朋友说一下。
首先,要知道这个工具的开发者将这个工具开发的已经非常好了,接口分装的特别不错。他们的付出是值得大家认可的。
其次,理解,并使用这个框架也不是很容易的(请给我鼓励
再来,这只是一个非常简单的Demo。其中还有很多的细节需要注意的,都没有。很多算法需要解决的,也没有。
可以说,这里的坑还有很多!
最后,我想肯定还是有我不知道的东西的!所以...
...

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,968评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,601评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,220评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,416评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,425评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,144评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,432评论 3 401
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,088评论 0 261
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,586评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,028评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,137评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,783评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,343评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,333评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,559评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,595评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,901评论 2 345

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,520评论 25 707
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,601评论 18 139
  • 一直号称自己是小太阳的刘小明最近变成了小云彩,每天从早上六点起床就开始忙忙忙忙到晚上十点。压力特别大的刘小明很是暴...
    刘小明阅读 347评论 0 2
  • 坑死我了,一定要记住!
    魂梦云边阅读 143评论 0 0
  • 历时两年半,终于领到毕业证,虽说只是函授,含金量不高,但也是我一趟趟付出辛苦汗水得来的,总算是有了一个了结。 喜上...
    老衲疯了阅读 737评论 0 50