QTRAN算法总结

论文原文：QTRAN: Learning to Factorize with Transformation for Cooperative Multi-Agent Reinforcement learning

参考文章：

(35条消息) 多智能体强化学习(一) IQL、VDN、QMIX、QTRAN算法详解_小小何先生的博客-CSDN博客_iql算法

QTRAN 算法详解（VDN和QMIX的升级版本） - 知乎 (zhihu.com)

到目前为止已经看过很多篇MARL的论文了，首先来总结一下学到的内容

MARL研究的问题是，假设有 $N$ 个智能体合作（也可能是竞争或者半合作半竞争，但是IQL\COMA\VDN\QMIX这些算法里似乎都只讨论了合作关系）完成一项任务。具体而言，在状态 $s_{t}$ 下，每个智能体 $i$ 选择各自的动作 $u_{t}^i$ ，由这些动作组成联合动作 $u_{t}$ ，执行 $u_{t}$ 后获得全局奖励 $Q(s_{t} ,u_{t} )$ ，这个奖励是对于所有智能体而言的，每个智能体的局部奖励 $Q_{i} (s_{t} ,u_{t}^i )$ 未知。如果使用全局奖励去训练actor网络，那么很可能会训练出“懒惰的”智能体。于是便需要一个神经网络来分别拟合每个智能体的局部奖励，以保证：当每个智能体的动作 $u^i$ 都使局部奖励 $Q_{i}$ 取得最大值时，这些动作组成的联合动作 $u$ 正好能使全局奖励 $Q$ 也取得最大值。即：

IGM条件

这种关系在QTRAN的论文中被定义为IGM(Individual-Global-Max)条件

VDN为了满足IGM条件，将值函数(全局奖励)分解成各局部奖励之和的形式：

VDN的IGM

QMIX提出了只要全局奖励和局部奖励的单调性一致即可：

QMIX的IGM

VDN和QMIX的想法对于(1)式来说都是充分非必要的。

QTRAN的关键思路，就是将原始的整体值函数 $Q(\tau,u )$ 映射到一个新的值函数 $\dot{Q}(\tau ,u)$ 使得这两个函数的最优联合动作是等价的。这样就可以通过分解 $\dot{Q}$ 来得到 $Q_{i}$ ，同时我们还要知道 $\dot{Q}$ 和 $Q$ 之间的关系，保证全局最优。

可进行值函数分解的条件：

定理1：当 $Q(\tau ,u)$ 和 $[Q_{i} (\tau _{i} ,u_{i} )]$ 满足下列关系时， $Q(\tau ,u)$ 可以被分解成 $[Q_{i} (\tau _{i} ,u_{i} )]$

$\sum_{i=1}^N Q_{i} (\tau _{i} ,u_{i} )-Q(\tau ,u)+V(\tau )=0(当u=\tilde{u} 时)(4a)$ 或 $\sum_{i=1}^N Q_{i} (\tau _{i} ,u_{i} )-Q(\tau ,u)+V(\tau )\geq 0(当u\neq \tilde{u} 时)(4b)$

其中 $\tilde{u_{i} } =argmax_{u_{i} } Q_{i} (\tau _{i} ,u_{i} )$ ， $V(\tau )=max_{u} Q(\tau ,u)-\sum_{i=1}^NQ_{i}(\tau _{i} ,\tilde{u_{i}} )$

(证明略)

映射方式：

对于新的值函数 $\dot{Q}$ ，作者直接将它定义为 $\dot{Q} (\tau ,u):=\sum_{i=1}^N Q_{i} (\tau _{i} ,u_{i} )$ ，这其实就是VDN中的分解方式，它和真实的 $Q$ 之间存在差距，所以作者用 $V(\tau )$ 来修正 $\dot{Q}$ 和 $Q$ 之间的误差，于是就有了： $max_{u} Q(\tau ,u)=\dot{Q} (\tau ,\tilde{u} )+V(\tau )$

算法设计：

根据上面的分析，这里至少有三样东西是要学习的，分别是 $Q_{i}$ ， $Q$ 和 $V(\tau )$ 。因此，QTRAN算法框架中，相对应地包含了下列三个重要的模块：

1. 智能体网络 (Individual action-value network): $f_{q} :(\tau _{i},u_{i} )\rightarrow Q_{i}$

2. 联合动作-值网络 (Joint action-value network): $f_{r} :(\tau,u )\rightarrow Q$

3. 状态值网络 (State-value network): $f_{v} :\tau \rightarrow V$

QTRAN算法框图

由于QTRAN的训练目标有两个： $Q$ 和 $V$ 。因此，损失函数设计如下：

损失函数

其中 $L_{td}$ 用于拟合 $Q$ ； $L_{opt}$ 和 $L_{nopt}$ 用于拟合 $V$ ，他们的定义如下：

L_{opt}

用于保证(4a)成立；

L_{nopt}

用于保证(4b)成立

QTRAN-alt

将定理1中(4b)的条件替换成这个公式，定理1依然成立：

为了方便计算(7)式中的\min函数，作者参考COMA算法中的反事实基准线(counterfactual baseline) 思想，提出反事实联合网络 (counterfactual joint network)

最终， $\dot{Q} (\tau ,\cdot ,u_{-i} )=Q_{i} (\tau _{i} ,\cdot )+\sum_{j\neq i} Q_{j} (\tau _{j} ,u_{j} )$

这样， $L_{nopt}$ 可以改写成：

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 216,997评论 6赞 502
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 92,603评论 3赞 392
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 163,359评论 0赞 353
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,309评论 1赞 292
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,346评论 6赞 390
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,258评论 1赞 300
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,122评论 3赞 418
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,970评论 0赞 275
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,403评论 1赞 313
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,596评论 3赞 334
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,769评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,464评论 5赞 344
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,075评论 3赞 327
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,705评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,848评论 1赞 269
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,831评论 2赞 370
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,678评论 2赞 354

QTRAN算法总结

推荐阅读更多精彩内容