本文包含 MPII、COCO 和 AI Challenger(AIC) 数据集的下载、标注格式和测试指南，以及论文里常见的“将 AIC 作为 extra data 刷 COCO 结果”的操作指南。
原文：2D多人姿态估计入门指南(0)：数据集使用指南（内含 AI Challenger/AIC 下载与使用指南）

1. MPII 数据集

1.1 下载

图片：前往 MPII官网 下载

标注：MPII 原始的标注数据是 matlab 格式的，HRNet 将其转换到了 json 格式的标注数据 [OneDrive, GoogleDrive]，这也是论文中常用的标注。

1.2 标注格式

[{ "joints_vis": [1, ···], "joints": [[x1,y1], ···], "image": "000003072.jpg", "scale": 1.946961, "center": [754.0, 335.0] }, ···]

MPII 的标注文件是一个列表，每一项代表一个人体以及该人体的标注，以下是每一项人体标注的内容解析

joints_vis: 长度16，0 不可见, 1 可见

joints: 特征点坐标，共16个特征点，长度2*16，index与特征点对应关系如下

0 - r ankle, 1 - r knee, 2 - r hip, 3 - l hip, 4 - l knee, 5 - l ankle, 6 - pelvis, 7 - thorax, 8 - upper neck, 9 - head top, 10 - r wrist, 11 - r elbow, 12 - r shoulder, 13 - l shoulder, 14 - l elbow, 15 - l wrist

image: 图片文件名

scale 和 center: MPII 人体框 bbox 是正方形的，center 代表 bbox 的中心，scale*200 为正方形的边长，这也是为什么 MPII 数据集上模型的输入也都是正方形居多。

1.3 测试

Predictions should emailed to [eldar at mpi-inf.mpg.de]. At most four submissions for the same approach are allowed. Any two submissions must be 72 hours apart.

关于 MPII test 集的测试方法 ······ 就比较迷，之前某段时间释放出了 test 集上的标注数据，但是现在官网又恢复接收预测结果了，可能是管理者换届或者在躺平与不躺平之间挣扎 emm

2. COCO 数据集

2.1 下载

图片与标注数据在 COCO官网 均提供下载

2.2 标注格式

COCO 的标注中包含 4 个部分/字段，"info" 描述数据集，"licenses" 描述图片来源，"images" 和 "annotations" 是主体部分

"images" 部分是一个列表，每一项是一张图片的基本信息与图片 ID，ID是为了方便 annotation 回溯对应图片，该部分格式如下：

[{
"license": 3,
"file_name": "000000017905.jpg",
"coco_url": "http://images.cocodataset.org/val2017/000000017905.jpg",
"height": 640,
"width": 480,
"date_captured": "2013-11-16 18:01:33",
"flickr_url": "http://farm1.staticflickr.com/44/173771776_53b9c22bb6_z.jpg",
"id": 17905
}, ···]

id: 图片 ID，对应 annotation 中的 image_id

"annotations" 部分是一个列表，每一项是一个对象(人体、汽车等等)的一条标注，该部分格式如下：

"segmentations": "num_keypoints": 17 "area": "iscrowd": "keypoints": [x1,y1,vis1, ···], "image_id": 17905, "bbox": [81.27, 229.19, 119.39, 364.68], "category_id": 1, "id": 2157397

keypoints: 特征点坐标与可见性，相当于 MPII 的 joints+joints_vis，共17个个特征点，长度3*17。可见性对应关系为 { 0: "不可见", 1: "遮挡", 2: "可见" }。index与特征点对应关系如下

0: "nose", 1: "left_eye", 2: "right_eye", 3: "left_ear", 4: "right_ear", 5: "left_shoulder", 6: "right_shoulder", 7: "left_elbow", 8: "right_elbow", 9: "left_wrist", 10: "right_wrist", 11: "left_hip", 12: "right_hip", 13: "left_knee", 14: "right_knee", 15: "left_ankle", 16: "right_ankle"

image_id: 图片 ID

bbox: [l, t, w, h] 格式的 bounding box

category_id: 标注对象的类别，如果是 1 则是人体，选入姿态估计任务的数据

id: 每一条标注数据的ID

2.3 测试

可以在 Codalab-COCO Keypoint Challenge 在线提交，提交时有以下几点需要注意：

• 在 test-dev2017 上提交时，要先将预测坐标截断至小数点后 2 位，否则预测结果文件会过大

• 提交时要将预测结果文件打包成 zip 压缩文件，直接上传 json 文件会报错

• 如果需要在榜单上显示队伍/机构名称，则先建立队伍，然后在提交时填入队伍名称。

3. AI Challenger(AIC) 数据集

3.1 下载

AIC 官网已经关闭，本人通过不懈寻找发现了民间隐藏的副本，这里先分享百度网盘，链接见知乎文末，阿里云盘还在上传中。

3.2 标注格式

原始的标注数据格式缺少说明，我们这里使用 mmpose 转换后的 aic_annotations，转换后 json 字段格式与 COCO相同，可以参见 COCO的标注格式。

转换后的 AIC 标注格式与 COCO 不同的是 ["annotations"]["keypoints"] 字段，包括特征点个数与“index与特征点对应关系”是不同的。AIC 共14个个特征点，长度3*14，可见性对应关系与COCO相同。index与特征点对应关系如下：

{ 0: "right shoulder", 1: "right elbow", 2: "right wrist", 3: "left shoulder", 4: "left elbow", 5: "left wrist", 6: "right hip", 7: "right knee", 8: "right ankle", 9: "left hip", 10: "left knee", 11: "left ankle", 12: "head tops" 13: "upper neck" }

3.3 转换为 COCO 标注格式

AIC 数据集在论文主要以 "extra data" 的形式出现，因此最重要的是 “如何利用 AIC 数据进行预训练，提升 COCO 数据集上的结果”。有两种思路，一是在 AIC 数据集上先训练，然后在 COCO train2017 数据集上训练；另一种思路是合并 AIC 和 COCO train2017 数据集。因为两个数据集 "keypoints" 中特征点个数与“index与特征点对应关系”是不同的，不管哪种思路，我们都需要将 AIC "keypoints" 内容转换为 COCO 格式。

这里放上 aic2coco标注格式转换代码，其中的核心操作包括以下：

keypoints 下标转换

aic2coco = [6, 8, 10, 5, 7, 9, 12, 14, 16, 11, 13, 15, -1, -1]
coco2aic = [-1, -1, -1, -1, -1, 3, 0, 4, 1, 5, 2, 9, 6, 10, 7, 11, 8]
for j in range(5, 17):
aic_idx = coco2aic[j]
aic_train['annotations'][i]['keypoints'][3j] = aic_keypoints[3aic_idx]
aic_train['annotations'][i]['keypoints'][3j+1] = aic_keypoints[3aic_idx+1]
aic_train['annotations'][i]['keypoints'][3j+2] = aic_keypoints[3aic_idx+2]

如果要合并 AIC 和 COCO 的数据，还需要注意 image_id (图片ID) 和 id (标注ID) 转换，防止和 COCO 标注文件中的 id 相同。

aic_train['annotations'][i]['image_id'] += 600000
aic_train['annotations'][i]['id'] += 900100582000

4. 最后

AIC 数据链接请查看知乎原文，内含已经转换到 COCO 17 keypoints 格式的标注文件

码字不易，欢迎点赞、收藏和评论~

最后祝同样研究人体姿态估计任务的小伙伴科研顺利~