转载自深度学习--- Xception迁移学习及实例

🎨开发平台：jupyter lab

🎄运行环境：python3、TensorFlow2.x

1.迁移学习

迁移学习：利用数据、任务、模型间的相似性，将训练好的内容应用到新的任务上。迁移学习不是具体的模型，更像是一种解题思路。

1.1 迁移学习的基本概念

两个域：由于这一过程发生在两个领域间，涉及到两个领域的概念：

已有的知识和数据，也就是被迁移的对象被称作源域；
被赋予【经验】的领域被称为目标域。

迁移学习的目的：

有时是目标领域的数据太少，需要标注更多的源域的帮助；
有时是为了节约训练时间；
有时是为了实现个性化应用；

举例说明：

预料匮乏的小语种之间的翻译
缺乏标注的医疗影像数据识别
面向不同快速部署对话系统

1.2 迁移学习在NLP领域的应用

常用的预训练语言模型：Transformer、Bert
通过微调，可以完成不同的任务

2. Xception简介

Xception是Google公司继Inception后提出的对 Inception-v3 的另一种改进。
Xception作为Inception v3的改进，主要是在Inception v3的基础上引入了depthwise separable convolution，在基本不增加网络复杂度的前提下提高了模型的效果。
作者认为，通道之间的相关性与空间相关性最好要分开处理。于是采用 Separable Convolution来替换原来 Inception-v3中的卷积操作。
传统卷积实现过程：

image.png

Depthwise Separable Convolution 的实现过程

image.png

2.1 Xception网络框架

先进行普通卷积操作，再对 1×1 卷积后的每个channel分别进行 3×3 卷积操作，最后将结果 concat。

image.png

2.2 Xception模型和其他卷积模型的参数对比

image.png

2.3 基于Xception迁移学习的实例（验证码识别）

2.3.1 数据获取

数据名：captcha.zip(8.7M)
百度网盘链接：https://pan.baidu.com/s/1kSkVjx5n_uVQbzPVc3SQjA
提取码：1234

2.3.2 程序代码

（1）设置字体及随机种子

import tensorflow as tf
import matplotlib.pyplot as plt
# 支持中文
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号

import os,PIL,random,pathlib

# 设置随机种子尽可能使结果可以重现
import numpy as np
np.random.seed(123)

# 设置随机种子尽可能使结果可以重现
tf.random.set_seed(123)

（2）获取数据

### 必须得是绝对路径
data_dir = 'D:/deng_d/研究生/python_project/Anaconda/class_task/deep_learning/datasets/captcha'
data_dir = pathlib.Path(data_dir)

all_image_paths = list(data_dir.glob('*'))
all_image_paths = [str(path) for path in all_image_paths]

# 打乱数据
#random.shuffle(all_image_paths)

# 获取数据标签
all_label_names = [path.split("\\")[-1].split(".")[0] for path in all_image_paths]

image_count = len(all_image_paths)
print("图片总数为：",image_count)

（3）显示部分数据

### 显示部分图片及其标签
plt.figure(figsize=(10,5))
for i in range(20):
    plt.subplot(5,4,i+1)
    plt.xticks([])
    plt.yticks([])
    plt.grid(False)
    
    # 显示图片
    images = plt.imread(all_image_paths[i])
    plt.imshow(images)
    # 显示标签
    plt.xlabel(all_label_names[i])

plt.show()

image.png

（4）转换对应的标签目标值

### 用于图片对应标签的转换
number = ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9']
alphabet = ['a','b','c','d','e','f','g','h','i','j','k','l','m','n','o','p','q','r','s','t','u','v','w','x','y','z']
char_set = number + alphabet
char_set_len = len(char_set)
label_name_len = len(all_label_names[0])

# 将字符串数字化
def text2vec(text):
   vector = np.zeros([label_name_len, char_set_len])
   for i, c in enumerate(text):
       idx = char_set.index(c)
       vector[i][idx] = 1.0
   return vector

all_labels = [text2vec(i) for i in all_label_names]

（5）处理图片部分

## 处理图片
def preprocess_image(image):
   image = tf.image.decode_jpeg(image, channels=3)
   image = tf.image.resize(image, [71, 224])
   return image/255.0

## 获取图片并转换
def load_and_preprocess_image(path):
   image = tf.io.read_file(path)
   return preprocess_image(image)
  
AUTOTUNE = tf.data.experimental.AUTOTUNE

path_data  = tf.data.Dataset.from_tensor_slices(all_image_paths)
image_data = path_data.map(load_and_preprocess_image, num_parallel_calls=AUTOTUNE)
label_data = tf.data.Dataset.from_tensor_slices(all_labels)

（6）将数据和目标标签值打包

image_label_data = tf.data.Dataset.zip((image_data, label_data))
image_label_data

（7）打乱数据且获取训练集和验证集

##打乱数据
image_label_data = image_label_data.shuffle(buffer_size=image_count)

## 获取训练数据和验证数据
train_data = image_label_data.take(1000)  # 前1000个batch
val_data   = image_label_data.skip(1000)  # 跳过前1000，选取后面的

## 设置训练集和验证集的相关属性
batch_size = 48

train_data = train_data.batch(batch_size)
train_data = train_data.prefetch(buffer_size=AUTOTUNE)

val_data = val_data.batch(batch_size)
val_data = val_data.prefetch(buffer_size=AUTOTUNE)
val_data

（8）构建模型

from tensorflow.keras import datasets, layers, models
from tensorflow.keras.applications.xception import Xception

## 因为Xception的最低维度为(71,71)
mobile_net = Xception(input_shape = (71,224,3), weights='imagenet', include_top=False, pooling='avg')

mobile_net.trainable=False

model = models.Sequential([

    mobile_net,
    layers.Dense(1000, activation='relu'),         #全连接层，特征进一步提取
    
    layers.Dense(label_name_len * char_set_len),
    layers.Reshape([label_name_len, char_set_len]),
    layers.Softmax()                               #输出层，输出预期结果
])
# 打印网络结构
model.summary()

image.png

（9）模型编译及训练

# 模型编译
model.compile(optimizer = tf.keras.optimizers.Adam(lr = 0.001),
              loss='categorical_crossentropy',
              metrics=['accuracy'])
             
# 模型训练
epochs = 100

history = model.fit(
    train_data,
    validation_data=val_data,
    epochs=epochs
)

（10）模型精确度曲线及损失曲线

acc = history.history['accuracy']
val_acc = history.history['val_accuracy']

loss = history.history['loss']
val_loss = history.history['val_loss']

epochs_range = range(epochs)

plt.figure(figsize=(12, 4))
plt.subplot(1, 2, 1)

plt.plot(epochs_range, acc,'b', label='Training Accuracy')
plt.plot(epochs_range, val_acc,'r',label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')

plt.subplot(1, 2, 2)
plt.plot(epochs_range, loss,'b', label='Training Loss')
plt.plot(epochs_range, val_loss,'r', label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()

image.png

（11）模型验证 – 预测数据

### 还原标签（向量->字符串）
def vec2text(vec):
    text = []
    for i, c in enumerate(vec):
        text.append(char_set[c])
    return "".join(text)

plt.figure(figsize=(10, 8))            # 图形的宽为10高为8

## 随机获取图片并进行展示
for images, labels in val_data.take(1):
    for i in range(6):
        ax = plt.subplot(3, 3, i + 1)  
        # 显示图片
        plt.imshow(images[i])

        # 需要给图片增加一个维度
        img_array = tf.expand_dims(images[i], 0) 

        # 使用模型预测验证码
        predictions = model.predict(img_array)
        plt.title(vec2text(np.argmax(predictions, axis=2)[0]))

        plt.axis("off")

image.png