Tensorflow数据读取机制

文件队列

参考了这篇博客的内容
为了实现数据读入和数据处理的管线化,tensorflow使用文件队列来独立处理数据读入。在设置好文件队列,以及相应的处理函数以后,tensorflow会自动调度,不断的把文件队列中的数据取出来,并包装成batch,使我们的训练过程始终有数据可用,不存在停下来等数据的情况。这很像一个虹吸管,在你架设好管道以后,数据就会源源不断的流向桶里。实现这个过程主要使用了Tensorflow里面的如下几个方法:

tf.train.string_input_producer  #创建文件队列
tf.train.shuffle_batch         #创建batch

首先,我们使用tf.train.string_input_producer方法来将文件列表转化为一个队列:

import tensorflow as tf
import glob
def listfiles(rootpath,ext):  #获得文件列表
    return glob.glob(rootpath+'/*.{}'.format(ext))
filelist = listfiles('rootfolder','hdr') #获得根目录下所有后缀文件
filelist_queue = tf.train.string_input_producer(filelist,shuffle=True) #利用tf的方法,将filelist(list类型)转化为文件队列。

其中,文件队列filelist_queue中,每一个entry对应了一个文件的位置,那么下一步应该是将文件队列中的文件取出来。在很多的博客中都使用了下面的方法来从队列中读取一个文件位置对应的图像。

image_reader = tf.WholeFileReader()  ##定义一个reader
filename, image_file = image_reader.read(filelist_queue)  ##将文件队列作为参数输入,
                                                   ##每一次执行该函数就读取队列中一个entry对应文件位置的图像,返回
                                                   ##图像名称和图像文件本身
image = tf.image.decode_jpeg(image_file)  ##利用tf自带的jpeg解码器进行解码,得到图像矩阵

上面的方法适合用在png,jpg,tiff这样一些常用的图像格式上,因为tensorflow提供了image_reader,还有相应的decoder,但是如果数据不在这些格式里面的话,怎么办呢?首先想到的是自己定义一个函数,在这个函数里面读取需要的文件

我尝试写一个函数,将文件列表queue作为参数传递给该函数,然后希望该函数能够使用queue.dequeue()方法将文件位置返回出来,但是我发现使用queue.dequeue()的时候,在函数里面取出来的仍然是tensor类型,而不是一个文件路径的字符串。只有使用 content = sess.run(content)之后才能正确的返回这个字符串。我觉得这个可能跟tensorflow的处理机制有关。

为了避免浪费更多的时间,这里使用一种折衷的办法,首先将数据转换为tfrecord格式,然后利用tf自带的对tf的读取方法来解决这个问题。tfrecord跟mxnet中的数据制作过程非常类似,就是利用已经有的数据,制作一个二进制文件。我参考了这篇博客的内容和这篇博客


TFRecodrs结构

TFRecords将用户的数据以二进制串的方式存储,这也就意味着你要首先定义数据格式。Tensorflow为此提供了两种格式:tf.train.Examplestf.train.SequenceExample,所有需要存储到TFRecord中的数据都要首先转换为这两种格式之一,然后使用 tf.python_io.TFRecordWriter将这些数据写入磁盘。在Tensorflow的官方网站可以看到tf.train.Examplestf.train.SequenceExample其实都是protocol buffer文件,而不是python类。

对于输入神经网络的每个数据entry,都由多个feature组成。tf.train.BytesList, tf.train.FloatListtf.train.Int64List同样为protocol,他们只有一个属性attibute: value。他们的目的是将数据转化为相应的列表。比如肖申克的救赎和搏击俱乐部两部电影是两个数据entry,分别他们的得分为9.0和9.7。那么这些数据可以通过下面的方式转化为list:

movie_name_list = tf.train.BytesList(value=[b'The Shawshank Redemption', b'Fight Club'])
movie_rating_list = tf.train.FloatList(value=[9.0, 9.7])

注意:Python strings need to be converted to bytes, (e.g. my_string.encode(‘utf-8’)) before they are stored in a tf.train.BytesList. 所以,即使是在用ByteList去处理一般的8bits图像数据的时候,也需要进行img.tobytes()处理,将图像处理转化为bytes。

tf.Train.Feature则将某种特殊类型的数据列表包装成Tensorflow理解的格式,它也只有一个属性attibute,即为bytes_listfloat_listint64_list之一。紧接上面的例子,我们可以将movie_name_listmovie_rating_list包装为Feature

movie_names = tf.train.Feature(bytes_list=movie_name_list)
movie_ratings = tf.train.Feature(float_list=movie_rating_list)

很自然的,Feature可以组成了Features

movie_dict = {
  'Movie Names': movie_names,
  'Movie Ratings': movie_ratings
}
movies = tf.train.Features(feature=movie_dict)

所有Features都组合完成以后,将其组成一个example,并通过tf.python_io.TFRecordWriter写入文件中,

example = tf.train.Example(features=movies)
with tf.python_io.TFRecordWriter('movie_ratings.tfrecord') as writer:
     writer.write(example.SerializeToString())

总结起来,就是一个类似包包装的例子,tf.train.FloastFist-->tf.train.Feature-->tf.train.Features-->tf.train.Example。


TFRecord的读取

参考了Site1997yyeqiustu以及这篇文章,Youtube上有一个TensorFlow的官方视频也做了非常好的讲解。这个知乎专栏也进行了详细的讲解。

使用Dataset API主要包含如下三个步骤:

  • 载入数据:为数据创建一个Dataset实例
  • 创建迭代器:使用Dataset实例来构建一个Iterator,这样就能通过其遍历数据
  • 使用数据:跟模型对接

由于我们的数据存储在tfrecord中,可以使用如下的代码来创建一个Dataset实例:

dataset = tf.contrib.data.TFRecordDataset(tfrecords)

那么如何从dataset中取出元素呢?方法就是从Dataset实例化一个Iterator,然后对Iterator进行迭代

iterator = dataset.make_one_shot_iterator()
one_element = iterator.get_next()  ###one_element 这里是取到的一个tensor
with tf.Session() as sess:
    for i in range(5):
        print(sess.run(one_element))

但是,这里我们要注意一个问题,在我们制作tfrecord的时候,

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,376评论 6 491
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,126评论 2 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 156,966评论 0 347
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,432评论 1 283
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,519评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,792评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,933评论 3 406
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,701评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,143评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,488评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,626评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,292评论 4 329
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,896评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,742评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,977评论 1 265
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,324评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,494评论 2 348

推荐阅读更多精彩内容