34

我有一堆格式类似于 Cifar10 的图像（二进制文件，size = 96*96*3每个图像的字节数），一个接一个的图像（STL-10 数据集）。我打开的文件有 138MB。

我试图阅读并检查包含图像的张量的内容，以确保阅读正确，但是我有两个问题 -

  1. 是否FixedLengthRecordReader加载整个文件，但一次只提供一个输入？由于读取第一个size字节应该相对较快。但是，代码运行大约需要两分钟。
  2. 如何以可显示的格式获取实际的图像内容，或在内部显示它们以验证图像是否被正确读取？我做了sess.run(uint8image)，但结果是空的。

代码如下：

import tensorflow as tf
def read_stl10(filename_queue):
  class STL10Record(object):
    pass
  result = STL10Record()

  result.height = 96
  result.width = 96
  result.depth = 3
  image_bytes = result.height * result.width * result.depth
  record_bytes = image_bytes

  reader = tf.FixedLengthRecordReader(record_bytes=record_bytes)
  result.key, value = reader.read(filename_queue)
  print value
  record_bytes = tf.decode_raw(value, tf.uint8)

  depth_major = tf.reshape(tf.slice(record_bytes, [0], [image_bytes]),
                       [result.depth, result.height, result.width])
  result.uint8image = tf.transpose(depth_major, [1, 2, 0])
  return result
# probably a hack since I should've provided a string tensor

filename_queue = tf.train.string_input_producer(['./data/train_X'])
image = read_stl10(filename_queue)

print image.uint8image
with tf.Session() as sess:
  result = sess.run(image.uint8image)
  print result, type(result)

输出：

Tensor("ReaderRead:1", shape=TensorShape([]), dtype=string)
Tensor("transpose:0", shape=TensorShape([Dimension(96), Dimension(96), Dimension(3)]), dtype=uint8)
I tensorflow/core/common_runtime/local_device.cc:25] Local device intra op parallelism threads: 4
I tensorflow/core/common_runtime/local_session.cc:45] Local session inter op parallelism threads: 4
[empty line for last print]
Process finished with exit code 137

我在我的 CPU 上运行它，如果这增加了任何东西的话。

编辑：感谢 Rosa，我找到了纯 TensorFlow 解决方案。显然，在使用 时string_input_producer，为了查看结果，您需要初始化队列运行器。唯一需要添加到上面代码的是下面的第二行：

...
with tf.Session() as sess:
    tf.train.start_queue_runners(sess=sess)
...

之后，result可以用 显示中的图像matplotlib.pyplot.imshow(result)。我希望这可以帮助别人。如果您还有其他问题，请随时问我或查看 Rosa 答案中的链接。

4

8 回答 8

45

只是为了给出一个完整的答案：

filename_queue = tf.train.string_input_producer(['/Users/HANEL/Desktop/tf.png']) #  list of files to read

reader = tf.WholeFileReader()
key, value = reader.read(filename_queue)

my_img = tf.image.decode_png(value) # use png or jpg decoder based on your files.

init_op = tf.global_variables_initializer()
with tf.Session() as sess:
  sess.run(init_op)

  # Start populating the filename queue.

  coord = tf.train.Coordinator()
  threads = tf.train.start_queue_runners(coord=coord)

  for i in range(1): #length of your filename list
    image = my_img.eval() #here is your image Tensor :) 

  print(image.shape)
  Image.fromarray(np.asarray(image)).show()

  coord.request_stop()
  coord.join(threads)

或者，如果你有一个图像目录，你可以通过这个 Github 源文件添加它们

@mttk 和 @salvador-dali：我希望这是你需要的

于 2015-11-23T01:39:14.943 回答
15

根据文档，您可以解码 JPEG/PNG 图像。

它应该是这样的：

import tensorflow as tf

filenames = ['/image_dir/img.jpg']
filename_queue = tf.train.string_input_producer(filenames)

reader = tf.WholeFileReader()
key, value = reader.read(filename_queue)

images = tf.image.decode_jpeg(value, channels=3)

你可以在这里找到更多信息

于 2015-11-17T20:58:27.023 回答
11

在评论中与您交谈后，我相信您可以使用 numpy/scipy 做到这一点。想法是读取numpy3d 数组中的图像并将其输入变量。

from scipy import misc
import tensorflow as tf

img = misc.imread('01.png')
print img.shape    # (32, 32, 3)

img_tf = tf.Variable(img)
print img_tf.get_shape().as_list()  # [32, 32, 3]

然后你可以运行你的图表：

init = tf.initialize_all_variables()
sess = tf.Session()
sess.run(init)
im = sess.run(img_tf)

并验证它是否相同：

import matplotlib.pyplot as plt
fig = plt.figure()
fig.add_subplot(1,2,1)
plt.imshow(im)
fig.add_subplot(1,2,2)
plt.imshow(img)
plt.show()

在此处输入图像描述

PS你提到：Since it's supposed to parallelize reading, it seems useful to know.。对此我可以说，在数据分析中很少读取数据是瓶颈。您将大部分时间花在训练模型上。

于 2015-11-11T10:51:52.630 回答
3

使用 tf.train.match_filenames_once 加载名称获取要使用 tf.size 打开会话进行迭代的文件数并享受 ;-)

import tensorflow as tf
import numpy as np
import matplotlib;
from PIL import Image

matplotlib.use('Agg')
import matplotlib.pyplot as plt


filenames = tf.train.match_filenames_once('./images/*.jpg')
count_num_files = tf.size(filenames)
filename_queue = tf.train.string_input_producer(filenames)

reader=tf.WholeFileReader()
key,value=reader.read(filename_queue)
img = tf.image.decode_jpeg(value)

init = tf.global_variables_initializer()
with tf.Session() as sess:
    sess.run(init)
    coord = tf.train.Coordinator()
    threads = tf.train.start_queue_runners(coord=coord)
    num_files = sess.run(count_num_files)
    for i in range(num_files):
        image=img.eval()
        print(image.shape)
        Image.fromarray(np.asarray(image)).save('te.jpeg')
于 2017-02-21T12:53:05.333 回答
2

（无法评论，没有足够的声誉，但这是一个对我有用的修改版本）

对于@HamedMP 错误，No default session is registered您可以使用InteractiveSession它来消除此错误： https ://www.tensorflow.org/versions/r0.8/api_docs/python/client.html#InteractiveSession

对于@NumesSanguis 的问题Image.show，您可以使用常规的 PIL.show()方法，因为fromarray它返回一个图像对象。

我在下面都做了（注意我使用的是JPEG而不是PNG）：

import tensorflow as tf
import numpy as np
from PIL import Image

filename_queue = tf.train.string_input_producer(['my_img.jpg']) #  list of files to read

reader = tf.WholeFileReader()
key, value = reader.read(filename_queue)

my_img = tf.image.decode_jpeg(value) # use png or jpg decoder based on your files.

init_op = tf.initialize_all_variables()
sess = tf.InteractiveSession()
with sess.as_default():
    sess.run(init_op)

# Start populating the filename queue.

coord = tf.train.Coordinator()
threads = tf.train.start_queue_runners(coord=coord)

for i in range(1): #length of your filename list
  image = my_img.eval() #here is your image Tensor :) 

Image.fromarray(np.asarray(image)).show()

coord.request_stop()
coord.join(threads)
于 2016-06-01T16:28:45.967 回答
2

首先 scipy.misc.imread 和 PIL不再可用。而是使用 imageio 库，但您需要为此安装 Pillow 作为依赖项

pip install Pillow imageio

然后使用以下代码加载图像并获取有关它的详细信息。

import imageio
import tensorflow as tf

path = 'your_path_to_image' # '~/Downloads/image.png'

img = imageio.imread(path)
print(img.shape)

或者

img_tf = tf.Variable(img)
print(img_tf.get_shape().as_list())

两者都工作正常。

于 2020-04-29T07:53:00.183 回答
1

您可以使用 tf.keras API。

import tensorflow as tf
import numpy as np
from tensorflow.keras.preprocessing.image import load_img, array_to_img

tf.enable_eager_execution()

img = load_img("example.png")
img = tf.convert_to_tensor(np.asarray(img))
image = tf.image.resize_images(img, (800, 800))
to_img = array_to_img(image)
to_img.show()
于 2018-09-29T06:39:18.587 回答
0

我使用 CIFAR10 格式而不是 STL10 并且代码像

filename_queue = tf.train.string_input_producer(filenames)
read_input = read_cifar10(filename_queue)
with tf.Session() as sess:       
    tf.train.start_queue_runners(sess=sess)
    result = sess.run(read_input.uint8image)        
img = Image.fromarray(result, "RGB")    
img.save('my.jpg')

该片段与 mttk 和 Rosa Gronchi 相同，但不知何故我无法在运行时显示图像，所以我保存为 JPG 文件。

于 2017-06-08T17:10:23.687 回答