使用TensorFlow C++ API进行YOLOv3模型推理

目前，在深度学习领域，各类网络模型如雨后春笋，但唯有大名鼎鼎的YOLOv3模型久经工业上的考验，成为工程应用首选模型。然而受限于平台发展，如何在边缘端部署YOLOv3模型仍然是棘手的问题。这里推荐通用性较强的TensorFlow C++ API进行推理。C++推理效率大概在40fps。

1、编译TensorFlow C++版本

由于TensorFlow官方对C++的支持不积极，故而需要手动编译C++版本的TensorFlow。这项工作本身也比较繁琐，计划近期单独写一篇关于此的文章。这里建议使用TensorFlow1.8版本（因为主要用于推理，新版本的新功能用不上），使用CUDA9.0或10.0进行编译。

2、使用python版本的TensorFlow YOLOv3训练好模型，并冻结成pb模型文件

假设你已经训练出理想的模型文件：yolov3_model.ckpt，包括：

yolov3_model.ckpt.meta

yolov3_model.ckpt.index

yolov3_model.ckpt.data-00000-of-00001

接下来使用官方提供的脚本或以下python代码冻结它：

import tensorflow as tf

from yolov3 import YOLOV3

out_file = "./yolov3_model.pb"

in_file = "./yolov3_model.ckpt"

output_node_names = ["input_node", "output_node1", "output_node1", "output_node1"]

with tf.name_scope('input'):

input_data = tf.placeholder(dtype=tf.float32, name='input_data')

model = YOLOV3(input_data, trainable=False)

sess = tf.Session(config=tf.ConfigProto(allow_soft_placement=True))

saver = tf.train.Saver()

saver.restore(sess, in_file )

converted_graph_def = tf.graph_util.convert_variables_to_constants(sess,

input_graph_def = sess.graph.as_graph_def(),

output_node_names = output_node_names)

with tf.gfile.GFile(out_file , "wb") as f:

f.write(converted_graph_def.SerializeToString())

</code>

</pre>

现在，你得到了yolov3_model.pb

3.在C++中使用模型进行推理

①数据读取

首先，对于图像数据，有两种读取的方式，一种是使用openCV中的Mat结构，另一种是使用TensorFlow的api直接读取图片文件，推荐使用第一种方法，有更强的通用性。

假设你有一个图片已经被读取为Mat input_img，而且你已经将它resize到了模型输入尺寸input_size

下一步，先定义好模型需要的输入Tensor对象：

```

tensorflow::Tensor* input_tensor = new tensorflow::Tensor(tensorflow::DT_FLOAT,tensorflow::TensorShape({ 1, input_size, input_size, 3 }));

std::vector<std::pair<std::string, tensorflow::Tensor>> inputs_map = {

{ "input_node", *input_tensor }

};

```

之后，使用这个函数将input_img转换成TensorFlow需要的Tensor对象（即上述的input_tensor）：

```

void cvMat2tfTensor(cv::Mat input, tensorflow::Tensor input_tensor )

{

input.convertTo(input, cv:: CV_32FC3);

cv::cvtColor(input, input, cv::COLOR_BGR2RGB);

cv::resize(input, input, cv::Size(input_size, input_size));//input_size是模型输入图片大小，通常是416

input = input / 255;

float *p = input_tensor.flat<float>().data();

cv::Mat cameraImg(input_size, input_size, CV_32FC3, p);

input.convertTo(cameraImg, CV_32FC3);

}

```

最后编辑于：2019.08.03 11:51:24