图像加载问题
使用pytorch制作图像数据集时，需要将存储在磁盘、硬盘的图像读取到内存中，涉及到图像I/O问题。
在python中，图像处理主要采用的库：skimage, opencv-python, Pillow (PIL)。 这三个库均提供了图像读取的方法。
三种主流图像处理库的比较：
| 库 | 函数/方法 | 返回值 | 图像像素格式 | 像素值范围 | 图像矩阵表示 |
|---|---|---|---|---|---|
| skimage | io.imread(xxx) | numpy.ndarray | RGB | [0, 255] | (H X W X C) |
| cv2 | cv2.imread(xxx) | numpy.ndarray | BGR | [0, 255] | (H X W X C) |
| Pillow(PIL) | Image.open(xxx) | PIL.Image.Image对象 | 根据图像格式，一般为RGB | [0, 255] | — |
开发/实验环境
- Ubuntu 18.04
- pycharm
- pytorch1.0, opencv-python 3.4.3,skimage, numpy,PIL
实验内容
读取图像
准备一张测试图像，彩色32bit
dog.jpg
import matplotlib.pyplot as plt
import skimage.io as io
import cv2
from PIL import Image
import numpy as np
import torch
# dog.jpg width = 1599, height=1066, channel=3
# 使用skimage读取图像
img_skimage = io.imread('dog.jpg') # skimage.io imread()-----np.ndarray, (H x W x C), [0, 255],RGB
print(img_skimage.shape)
# 使用opencv读取图像
img_cv = cv2.imread('dog.jpg') # cv2.imread()------np.array, (H x W xC), [0, 255], BGR
print(img_cv.shape)
# 使用PIL读取
img_pil = Image.open('dog.jpg') # PIL.Image.Image对象
img_pil_1 = np.array(img_pil) # (H x W x C), [0, 255], RGB
print(img_pil_1.shape)
plt.figure()
for i, im in enumerate([img_skimage, img_cv, img_pil_1]):
ax = plt.subplot(1, 3, i + 1)
ax.imshow(im)
plt.pause(0.01)
显示图像：
从左到右分别为skimage, cv2, PIL 读取之后显示的图像。PIL读取的图像为PIL.Image.Image对象，无法用matplotlib直接显示,需要先转为numpy.ndarray对象。
图1，图3显示正常，图像显示不正常，因为opencv读取的图像为BGR格式，matplotllib使用RGB方式显示，图像通道顺序不一致。
image.png
图像转为torch.Tensor对象
在深度学习中，原始图像需要转换为深度学习框架自定义的数据格式，在pytorch中，需要转为torch.Tensor。
pytorch提供了torch.Tensor 与numpy.ndarray转换为接口：
| 方法名 | 作用 |
|---|---|
torch.from_numpy(xxx) |
numpy.ndarray转为torch.Tensor
|
tensor1.numpy() |
获取tensor1对象的numpy格式数据 |
torch.Tensor 高维矩阵的表示： （nSample）x C x H x W
numpy.ndarray 高维矩阵的表示： H x W x C
因此在两者转换的时候需要使用numpy.transpose( ) 方法 。
Code
# ------------np.ndarray转为torch.Tensor------------------------------------
# numpy image: H x W x C
# torch image: C x H x W
# np.transpose( xxx, (2, 0, 1)) # 将 H x W x C 转化为 C x H x W
tensor_skimage = torch.from_numpy(np.transpose(img_skimage, (2, 0, 1)))
tensor_cv = torch.from_numpy(np.transpose(img_cv, (2, 0, 1)))
tensor_pil = torch.from_numpy(np.transpose(img_pil_1, (2, 0, 1)))
torch.Tensor转numpy.ndarray
# np.transpose( xxx, (2, 0, 1)) # 将 C x H x W 转化为 H x W x C
img_skimage_2 = np.transpose(tensor_skimage.numpy(), (1, 2, 0))
img_cv_2 = np.transpose(tensor_cv.numpy(), (1, 2, 0))
img_pil_2 = np.transpose(tensor_pil.numpy(), (1, 2, 0))
plt.figure()
for i, im in enumerate([img_skimage_2, img_cv_2, img_pil_2]):
ax = plt.subplot(1, 3, i + 1)
ax.imshow(im)
plt.pause(0.01)
显示：
image.png
opencv图像BGR->RGB操作
opencv默认读取的图像为BGR形式,可以使用opencv提供的方法：cv2.cvtColor( ) 进行图像颜色空间转换
# opencv 读取的图像为BGR
# 首先需要转为RGB
img_cv = cv2.cvtColor(img_cv, cv2.COLOR_BGR2RGB)
# 转torch.Tensor
tensor_cv = torch.from_numpy(img_cv)
# tensor转numpy
img_cv_2 = tensor_cv.numpy()
plt.figure()
plt.title('cv')
plt.imshow(img_cv_2)
plt.show()
显示：
image.png
