MPI-3 近邻集合通信

上一篇中我们介绍了 mpi4py 中的非阻塞集合通信方法,下面我们将介绍 mpi4py 中的近邻集合通信方法,另一个 MPI-3 引进的新特性。

近邻集合通信(neighborhood collective communication) 是定义在拓扑通信子之上的一类集合通信操作,不同于一般集合通信操作中通信子上的所有进程都会参与,近邻集合通信只要求拓扑通信子上的某个进程和其直接邻居进程之间进行集合通信,其它进程可以不用参与,因此近邻集合通信具有非常好的可扩展性。

近邻集合操作也有阻塞和非阻塞两个版本。

方法接口

下面给出 mpi4py 中近邻集合通信的方法接口。

MPI.Topocomm.neighbor_allgather(self, sendobj)

近邻全收集操作,对应 MPI.Comm.allgather。以小写字母开头的方法,可以传递任意可被 pickle 的 Python 对象 sendobj,为阻塞通信方法。

MPI.Topocomm.neighbor_alltoall(self, sendobj)

近邻全发散操作,对应 MPI.Comm.alltoall。以小写字母开头的方法,可以传递任意可被 pickle 的 Python 对象 sendobj,为阻塞通信方法。

MPI.Topocomm.Neighbor_allgather(self, sendbuf, recvbuf)

近邻阻塞全收集操作,对应 MPI.Comm.Allgather,只适用于传递具有缓冲区接口的对象。

MPI.Topocomm.Neighbor_allgatherv(self, sendbuf, recvbuf)

近邻阻塞向量全收集操作,对应 MPI.Comm.Allgatherv,只适用于传递具有缓冲区接口的对象。

MPI.Topocomm.Neighbor_alltoall(self, sendbuf, recvbuf)

近邻阻塞全发散操作,对应 MPI.Comm.Alltoall,只适用于传递具有缓冲区接口的对象。

MPI.Topocomm.Neighbor_alltoallv(self, sendbuf, recvbuf)

近邻阻塞向量全发散操作,对应 MPI.Comm.Alltoallv,只适用于传递具有缓冲区接口的对象。

MPI.Topocomm.Neighbor_alltoallw(self, sendbuf, recvbuf)

近邻阻塞向量全发散操作,对应 MPI.Comm.Alltoallw,只适用于传递具有缓冲区接口的对象。

MPI.Topocomm.Ineighbor_allgather(self, sendbuf, recvbuf)

近邻非阻塞全收集操作,对应 MPI.Comm.Iallgather,只适用于传递具有缓冲区接口的对象。

MPI.Topocomm.Ineighbor_allgatherv(self, sendbuf, recvbuf)

近邻非阻塞向量全收集操作,对应 MPI.Comm.Iallgatherv,只适用于传递具有缓冲区接口的对象。

MPI.Topocomm.Ineighbor_alltoall(self, sendbuf, recvbuf)

近邻非阻塞全发散操作,对应 MPI.Comm.Ialltoall,只适用于传递具有缓冲区接口的对象。

MPI.Topocomm.Ineighbor_alltoallv(self, sendbuf, recvbuf)

近邻非阻塞向量全发散操作,对应 MPI.Comm.Ialltoallv,只适用于传递具有缓冲区接口的对象。

MPI.Topocomm.Ineighbor_alltoallw(self, sendbuf, recvbuf)

近邻非阻塞向量全发散操作,对应 MPI.Comm.Ialltoallw,只适用于传递具有缓冲区接口的对象。

由以上方法接口可以看出,近邻集合通信最基本最主要的操作只有两个:MPI.Topocomm.Neighbor_allgather 和 MPI.Topocomm.Neighbor_alltoall,其它的要么是其向量版本,要么是对应的非阻塞版本。Neighbor_allgather 会发送一份相同的数据给其所有直接邻居,并从这些邻居处接收一份数据;Neighbor_alltoall 会给其每个直接邻居发送一份不同的数据,并从这些邻居处接收一份数据。以 3 × 3 周期性的笛卡尔拓扑为例,下图显示了 Neighbor_allgather 的发送和接收关系。

3 × 3 周期性的笛卡尔拓扑
Neighbor_allgather 发送和接收关系

例程

以上图中的 3 × 3 笛卡尔拓扑为例,下面给出近邻集合操作的使用例程。

# neighbor.py

"""
Demonstrates the usage of neighborhood collective communication.

Run this with 9 processes like:
$ mpiexec -n 9 python neighbor.py
"""

import numpy as np
from mpi4py import MPI


comm = MPI.COMM_WORLD
rank = comm.Get_rank()

dims = [3, 3]

# -----------------------------------------------------------------
# neighbor_allgather with periodic boundary
periods = [True, True]
cart_comm = comm.Create_cart(dims, periods)
recv_obj = cart_comm.neighbor_allgather(rank)
print 'neighbor_allgather (periodic): rank %d has %s' % (rank, recv_obj)


# -----------------------------------------------------------------
# neighbor_allgather with non-periodic boundary
periods = [False, False]
cart_comm = comm.Create_cart(dims, periods)
recv_obj = cart_comm.neighbor_allgather(rank)
print 'neighbor_allgather (non-periodic): rank %d has %s' % (rank, recv_obj)


# -----------------------------------------------------------------
# neighbor_alltoall with periodic boundary
periods = [True, True]
cart_comm = comm.Create_cart(dims, periods)
recv_obj = cart_comm.neighbor_alltoall(['a', 'b', 'c', 'd'])
print 'neighbor_alltoall (periodic): rank %d has %s' % (rank, recv_obj)


# -----------------------------------------------------------------
# Neighbor_allgather with periodic boundary
periods = [True, True]
cart_comm = comm.Create_cart(dims, periods)
send_buf = np.array([rank], dtype='i')
recv_buf = np.full((4,), -1, dtype='i') # initialize with all -1
cart_comm.Neighbor_allgather(send_buf, recv_buf)
print 'Neighbor_allgather (periodic): rank %d has %s' % (rank, recv_buf)


# -----------------------------------------------------------------
# Ineighbor_allgather with non-periodic boundary
periods = [False, False]
cart_comm = comm.Create_cart(dims, periods)
send_buf = np.array([rank], dtype='i')
recv_buf = np.full((4,), -1, dtype='i')
req = cart_comm.Ineighbor_allgather(send_buf, recv_buf)
req.Wait()
print 'Ineighbor_allgather (non-periodic): rank %d has %s' % (rank, recv_buf)

运行结果如下:

$ mpiexec -n 9 python neighbor.py
neighbor_allgather (periodic): rank 7 has [4, 1, 6, 8]
neighbor_allgather (non-periodic): rank 7 has [4, None, 6, 8]
neighbor_alltoall (periodic): rank 7 has ['b', 'a', 'd', 'c']
Neighbor_allgather (periodic): rank 7 has [4 1 6 8]
Ineighbor_allgather (non-periodic): rank 7 has [ 4 -1  6  8]
neighbor_allgather (periodic): rank 8 has [5, 2, 7, 6]
neighbor_allgather (non-periodic): rank 8 has [5, None, 7, None]
neighbor_alltoall (periodic): rank 8 has ['b', 'a', 'd', 'c']
Neighbor_allgather (periodic): rank 8 has [5 2 7 6]
Ineighbor_allgather (non-periodic): rank 8 has [ 5 -1  7 -1]
neighbor_allgather (periodic): rank 0 has [6, 3, 2, 1]
neighbor_allgather (non-periodic): rank 0 has [None, 3, None, 1]
neighbor_alltoall (periodic): rank 0 has ['b', 'a', 'd', 'c']
Neighbor_allgather (periodic): rank 0 has [6 3 2 1]
Ineighbor_allgather (non-periodic): rank 0 has [-1  3 -1  1]
neighbor_allgather (periodic): rank 1 has [7, 4, 0, 2]
neighbor_allgather (non-periodic): rank 1 has [None, 4, 0, 2]
neighbor_alltoall (periodic): rank 1 has ['b', 'a', 'd', 'c']
Neighbor_allgather (periodic): rank 1 has [7 4 0 2]
Ineighbor_allgather (non-periodic): rank 1 has [-1  4  0  2]
neighbor_allgather (periodic): rank 2 has [8, 5, 1, 0]
neighbor_allgather (non-periodic): rank 2 has [None, 5, 1, None]
neighbor_alltoall (periodic): rank 2 has ['b', 'a', 'd', 'c']
Neighbor_allgather (periodic): rank 2 has [8 5 1 0]
Ineighbor_allgather (non-periodic): rank 2 has [-1  5  1 -1]
neighbor_allgather (periodic): rank 3 has [0, 6, 5, 4]
neighbor_allgather (non-periodic): rank 3 has [0, 6, None, 4]
neighbor_alltoall (periodic): rank 3 has ['b', 'a', 'd', 'c']
Neighbor_allgather (periodic): rank 3 has [0 6 5 4]
Ineighbor_allgather (non-periodic): rank 3 has [ 0  6 -1  4]
neighbor_allgather (periodic): rank 4 has [1, 7, 3, 5]
neighbor_allgather (non-periodic): rank 4 has [1, 7, 3, 5]
neighbor_alltoall (periodic): rank 4 has ['b', 'a', 'd', 'c']
Neighbor_allgather (periodic): rank 4 has [1 7 3 5]
Ineighbor_allgather (non-periodic): rank 4 has [1 7 3 5]
neighbor_allgather (periodic): rank 5 has [2, 8, 4, 3]
neighbor_allgather (non-periodic): rank 5 has [2, 8, 4, None]
neighbor_alltoall (periodic): rank 5 has ['b', 'a', 'd', 'c']
Neighbor_allgather (periodic): rank 5 has [2 8 4 3]
Ineighbor_allgather (non-periodic): rank 5 has [ 2  8  4 -1]
neighbor_allgather (periodic): rank 6 has [3, 0, 8, 7]
neighbor_allgather (non-periodic): rank 6 has [3, None, None, 7]
neighbor_alltoall (periodic): rank 6 has ['b', 'a', 'd', 'c']
Neighbor_allgather (periodic): rank 6 has [3 0 8 7]
Ineighbor_allgather (non-periodic): rank 6 has [ 3 -1 -1  7]

由以上的输出结果可以看出,对笛卡尔拓扑,近邻集合操作某进程从其直接邻居处接收数据的顺序为:按照笛卡尔网格的维度顺序从小到大接收(如果拓扑为周期性的,会考虑其对应的周期性)。比如对进程 4,首先接收其上面行的数据 1, 然后其下面行的数据 7, 然后其左边列的数据 3, 最后其右边列的数据5。如果拓扑为非周期性的,则不会向其不存在的边界邻居发送数据,也不会从其不存在的边界邻居接收数据。

以上介绍了 mpi4py 中的近邻集合通信方法,在下一篇中我们将介绍 mpi4py 中的非阻塞通信子复制和组集合通信子创建方法。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,997评论 6 502
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,603评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,359评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,309评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,346评论 6 390
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,258评论 1 300
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,122评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,970评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,403评论 1 313
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,596评论 3 334
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,769评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,464评论 5 344
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,075评论 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,705评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,848评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,831评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,678评论 2 354

推荐阅读更多精彩内容

  • 在上一篇中我们概要地介绍了最新的 MPI-3 标准中引进的新特性,mpi4py 3.0.0 支持 MPI-3 的很...
    自可乐阅读 2,732评论 0 0
  • 前言 计算机编程语言很多,但是适合高性能数值计算的语言却并不多,在高性能计算的项目中通常会使用到的语言有 Fort...
    自可乐阅读 19,714评论 3 22
  • 在上一篇中我们介绍了 SLURM 资源管理系统,下面将介绍 MPI-3 的新特性。 在前面我们介绍了 MPI 的基...
    自可乐阅读 3,788评论 1 0
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 172,095评论 25 707
  • 今天回家时吃了一些很大的杨梅,这样的杨梅我以前没吃过。也不知道是因为我回家了还是平常也这样,家里的水果很丰富。昨天...
    小王加油啊阅读 297评论 0 0