使用caffe的图像分类模型来训练自己的数据集时，数据集如何制作是一个问题。
我们通常收集到的是图像数据(如.jpg格式)，但为了高效读取数据集，通常需要将图像格式的数据集转换成数据库格式的LMDB或者LEVELDB。下面记录转换过程。
第一步：准备图像数据集
以一个分类模型的训练数据集为例，数据集的目录格式应该如下：
图像数据集目录格式
- 两个文件夹：train/和val/，分别用于存放训练集和验证集的图像数据；
- 一个train.txt文本文件，用于存放训练集图像的相对路径及其对应的ground-truth label；
- 一个val.txt文本文件，用于存放验证集图像的相对路径及其对应的ground-truth label；
数据集的来源:
这里的图像数据集来自于ImageNet2012的图像分类数据集，本来有1000类，但总的文件大小达到141GB，太大了不方便下载。这位网友将原始数据下载后将其分成了36个压缩文件，由于只想作为练习，我只下载了前面两个压缩包解压后，取最前面的10类数据集。原始数据中每类训练集包含1300张图像，我在每个类别的文件夹中取1000张作为训练集，剩下的300张作为验证集。
train/目录下的格式：
train/目录下还有子文件夹，其中每个子文件夹中包含同一类的图像数据，也就是说每一类的图像都得单独建一个文件夹存放。比如第一个子文件夹的部分内容：
train.txt文本内容格式：
train.txt文本内容是训练集图像的相对路径及其对应的ground-truth label，其中相对路径的根目录是train/文件夹，每一行记录一张图像的相对路径和对应的label(所用的10类图像的类别依次命名为0-9)，label和相对路径之间有一个空格符隔开。这个例子中，train.txt共有10000行数据。
val/目录下的格式：
val/目录的格式则和train/目录不同，val/目录下并没有子文件夹，直接存放10种类别的图像，每一类300张验证集图像，所以val/目录下一共有3000张图像，下图是val/目录下的部分内容：
val.txt文本内容格式：
train.txt文本内容是验证集图像的相对路径及其对应的ground-truth label，其中相对路径的根目录是val/文件夹，同样每一行记录一张图像的相对路径(这里直接是图像名了)和对应的label，label和相对路径之间有一个空格符隔开。这个例子中，val.txt共有3000行数据。
以上就是自己制作图像分类模型训练集和验证集的格式，与ImageNet竞赛中的图像分类数据集格式相同。
如何通过train/和val/目录来生成train.txt和val.txt文件？我分别编写了一个python脚本来实现：
create_train_txt.py:
# 文件放置的路径：和data文件夹同目录
import os
train_src_path = "data/train/"
train_dst_file = "./train.txt"
train_dict = ["n01440764", "n01443537", "n01484850", "n01491361", "n01494475", "n01496331", "n01498041", "n01514668", "n01514859", "n01518878"]
if __name__ == '__main__':
result=[]
for file in os.listdir(train_src_path):
if file == train_dict[0]:
pth = os.path.join(train_src_path, file)
for image in os.listdir(pth):
name = os.path.join(file, image)
result.append(name+' 0\n')
elif file == train_dict[1]:
pth = os.path.join(train_src_path, file)
for image in os.listdir(pth):
name = os.path.join(file, image)
result.append(name+' 1\n')
elif file == train_dict[2]:
pth = os.path.join(train_src_path, file)
for image in os.listdir(pth):
name = os.path.join(file, image)
result.append(name+' 2\n')
elif file == train_dict[3]:
pth = os.path.join(train_src_path, file)
for image in os.listdir(pth):
name = os.path.join(file, image)
result.append(name+' 3\n')
elif file == train_dict[4]:
pth = os.path.join(train_src_path, file)
for image in os.listdir(pth):
name = os.path.join(file, image)
result.append(name+' 4\n')
elif file == train_dict[5]:
pth = os.path.join(train_src_path, file)
for image in os.listdir(pth):
name = os.path.join(file, image)
result.append(name+' 5\n')
elif file == train_dict[6]:
pth = os.path.join(train_src_path, file)
for image in os.listdir(pth):
name = os.path.join(file, image)
result.append(name+' 6\n')
elif file == train_dict[7]:
pth = os.path.join(train_src_path, file)
for image in os.listdir(pth):
name = os.path.join(file, image)
result.append(name+' 7\n')
elif file == train_dict[8]:
pth = os.path.join(train_src_path, file)
for image in os.listdir(pth):
name = os.path.join(file, image)
result.append(name+' 8\n')
else:
pth = os.path.join(train_src_path, file)
for image in os.listdir(pth):
name = os.path.join(file, image)
result.append(name+' 9\n')
txtfile = open(train_dst_file, "w")
txtfile.writelines(result)
txtfile.close()
print "done!"
create_val_txt.py:
# 文件放置的路径：和data文件夹同目录
import os
val_src_path = "data/val/"
val_dst_file = "./val.txt"
train_dict = ["n01440764", "n01443537", "n01484850", "n01491361", "n01494475", "n01496331", "n01498041", "n01514668", "n01514859", "n01518878"]
if __name__ == '__main__':
result=[]
for file in os.listdir(val_src_path):
name = file.split(sep='_')
if name[0] == train_dict[0]:
result.append(file+' 0\n')
elif name[0] == train_dict[1]:
result.append(file+' 1\n')
elif name[0] == train_dict[2]:
result.append(file+' 2\n')
elif name[0] == train_dict[3]:
result.append(file+' 3\n')
elif name[0] == train_dict[4]:
result.append(file+' 4\n')
elif name[0] == train_dict[5]:
result.append(file+' 5\n')
elif name[0] == train_dict[6]:
result.append(file+' 6\n')
elif name[0] == train_dict[7]:
result.append(file+' 7\n')
elif name[0] == train_dict[8]:
result.append(file+' 8\n')
else:
result.append(file+' 9\n')
txtfile = open(val_dst_file, "w")
txtfile.writelines(result)
txtfile.close()
print ("done!")
由于暂时对linux的shell脚本的使用不熟悉，所以使用的python脚本实现，反正贴在这里供新手参考吧。
嫌麻烦的朋友可以下载我上面举例用的数据集，已打包上传到云盘：百度云分享链接。
第二步：使用convert_imageset工具将图像数据集转换成LMDB/LEVELDB
如果你的caffe已经编译成功，在/caffe/build/tools/目录下面有一个编译好的二进制可执行文件convert_imagenet.bin。它对应的源代码是/caffe/tools/convert_imagenet.cpp。使用该工具可以将图像格式的数据集转换成LMDB/LEVELDB格式。如何使用？
在/caffe/examples/imagenet/目录下面有一个shell脚本：create_imagenet.sh。
这个脚本就是用来对网上下载的ImageNet2012图像分类数据集进行数据格式转换的，打开查看其内容：
(注意脚本中的路径都是相对路径，根目录是caffe/目录，所以这个脚本cd到caffe/目录下执行）
#!/usr/bin/env sh
# Create the imagenet lmdb inputs
# N.B. set the path to the imagenet train + val data dirs
set -e
EXAMPLE=examples/imagenet #该路径是生成的LMDB文件的保存目录
DATA=data/ilsvrc12 #该路径是存放train/,val/,train.txt和val.txt文件的目录
TOOLS=build/tools #该路径是编译得到的convert_imageset二进制文件的目录
TRAIN_DATA_ROOT=/path/to/imagenet/train/ #该路径是train/目录的路径
VAL_DATA_ROOT=/path/to/imagenet/val/ #该路径是val/目录的路径
# Set RESIZE=true to resize the images to 256x256. Leave as false if images have
# already been resized using another tool.
RESIZE=false #如果你需要对图片作一个resize，这里应该改成true
if $RESIZE; then
RESIZE_HEIGHT=256 #在RESIZE=true的情况下，可以设置resize后图像的H和W
RESIZE_WIDTH=256
else
RESIZE_HEIGHT=0
RESIZE_WIDTH=0
fi
if [ ! -d "$TRAIN_DATA_ROOT" ]; then
echo "Error: TRAIN_DATA_ROOT is not a path to a directory: $TRAIN_DATA_ROOT"
echo "Set the TRAIN_DATA_ROOT variable in create_imagenet.sh to the path" \
"where the ImageNet training data is stored."
exit 1
fi
if [ ! -d "$VAL_DATA_ROOT" ]; then
echo "Error: VAL_DATA_ROOT is not a path to a directory: $VAL_DATA_ROOT"
echo "Set the VAL_DATA_ROOT variable in create_imagenet.sh to the path" \
"where the ImageNet validation data is stored."
exit 1
fi
echo "Creating train lmdb..."
#可以看到，shell脚本的核心也就是调用convert_imageset可执行文件
GLOG_logtostderr=1 $TOOLS/convert_imageset \
--resize_height=$RESIZE_HEIGHT \
--resize_width=$RESIZE_WIDTH \
--shuffle \
$TRAIN_DATA_ROOT \
$DATA/train.txt \
$EXAMPLE/ilsvrc12_train_lmdb #这里可以修改生成的LMDB文件的名字
echo "Creating val lmdb..."
GLOG_logtostderr=1 $TOOLS/convert_imageset \
--resize_height=$RESIZE_HEIGHT \
--resize_width=$RESIZE_WIDTH \
--shuffle \
$VAL_DATA_ROOT \
$DATA/val.txt \
$EXAMPLE/ilsvrc12_val_lmdb #这里可以修改生成的LMDB文件的名字
echo "Done."
我把data/目录放到了这里：
同时将create_imagenet.sh脚本也复制到此文件夹下并重命名为create_lmdb.sh，然后修改内容，修改后如下：
#!/usr/bin/env sh
# Create the imagenet lmdb inputs
# N.B. set the path to the imagenet train + val data dirs
set -e
EXAMPLE=models/vggnet/
DATA=models/vggnet/data
TOOLS=build/tools
TRAIN_DATA_ROOT=models/vggnet/data/train/
VAL_DATA_ROOT=models/vggnet/data/val/
# Set RESIZE=true to resize the images to 256x256. Leave as false if images have
# already been resized using another tool.
RESIZE= true
if $RESIZE; then
RESIZE_HEIGHT=256
RESIZE_WIDTH=256
else
RESIZE_HEIGHT=0
RESIZE_WIDTH=0
fi
if [ ! -d "$TRAIN_DATA_ROOT" ]; then
echo "Error: TRAIN_DATA_ROOT is not a path to a directory: $TRAIN_DATA_ROOT"
echo "Set the TRAIN_DATA_ROOT variable in create_imagenet.sh to the path" \
"where the ImageNet training data is stored."
exit 1
fi
if [ ! -d "$VAL_DATA_ROOT" ]; then
echo "Error: VAL_DATA_ROOT is not a path to a directory: $VAL_DATA_ROOT"
echo "Set the VAL_DATA_ROOT variable in create_imagenet.sh to the path" \
"where the ImageNet validation data is stored."
exit 1
fi
echo "Creating train lmdb..."
GLOG_logtostderr=1 $TOOLS/convert_imageset \
--resize_height=$RESIZE_HEIGHT \
--resize_width=$RESIZE_WIDTH \
--shuffle \
$TRAIN_DATA_ROOT \
$DATA/train.txt \
$EXAMPLE/vgg_train_lmdb
echo "Creating val lmdb..."
GLOG_logtostderr=1 $TOOLS/convert_imageset \
--resize_height=$RESIZE_HEIGHT \
--resize_width=$RESIZE_WIDTH \
--shuffle \
$VAL_DATA_ROOT \
$DATA/val.txt \
$EXAMPLE/vgg_val_lmdb
echo "Done."
在caffe/目录执行create_lmdb.sh:
ys@ysubuntu:~/caffe$ bash ./models/vggnet/create_lmdb.sh
Creating train lmdb...
I0316 20:52:00.026870 11147 convert_imageset.cpp:86] Shuffling data
I0316 20:52:00.298367 11147 convert_imageset.cpp:89] A total of 10000 images.
I0316 20:52:00.298554 11147 db_lmdb.cpp:35] Opened lmdb models/vggnet//vgg_train_lmdb
I0316 20:52:02.802678 11147 convert_imageset.cpp:147] Processed 1000 files.
I0316 20:52:05.248699 11147 convert_imageset.cpp:147] Processed 2000 files.
I0316 20:52:07.623306 11147 convert_imageset.cpp:147] Processed 3000 files.
I0316 20:52:09.988682 11147 convert_imageset.cpp:147] Processed 4000 files.
I0316 20:52:12.426357 11147 convert_imageset.cpp:147] Processed 5000 files.
I0316 20:52:14.958480 11147 convert_imageset.cpp:147] Processed 6000 files.
I0316 20:52:17.368260 11147 convert_imageset.cpp:147] Processed 7000 files.
I0316 20:52:19.749001 11147 convert_imageset.cpp:147] Processed 8000 files.
I0316 20:52:22.012138 11147 convert_imageset.cpp:147] Processed 9000 files.
I0316 20:52:24.279088 11147 convert_imageset.cpp:147] Processed 10000 files.
Creating val lmdb...
I0316 20:52:24.409412 11167 convert_imageset.cpp:86] Shuffling data
I0316 20:52:24.635166 11167 convert_imageset.cpp:89] A total of 1629 images.
I0316 20:52:24.635350 11167 db_lmdb.cpp:35] Opened lmdb models/vggnet//vgg_val_lmdb
I0316 20:52:27.074790 11167 convert_imageset.cpp:147] Processed 1000 files.
I0316 20:52:28.618160 11167 convert_imageset.cpp:153] Processed 1629 files.
Done.
ys@ysubuntu:~/caffe$
最终在/caffe/models/vggnet/目录下生成了vgg_train_lmdb文件和vgg_val_lmdb文件：
接下来就可以使用vgg_train_lmdb和vgg_val_lmdb来训练/caffe/models/目录下提供的alexnet、caffenet等模型了。
请参考：caffe:使用自己的数据集来训练VGGNet。
