我的目标是在本地运行我的 Tensorflow 培训应用程序时使用存储在 Google Cloud 存储中的培训数据(格式:tfrecords)。(为什么是本地?:我在将其转换为 Cloud ML 的培训包之前进行测试)
基于这个线程,我不应该做任何事情,因为底层的 Tensorflow API 应该能够读取 gs://(url)
但是事实并非如此,我看到的错误格式如下:
2017-06-06 15:38:55.589068:I tensorflow/core/platform/cloud/retrying_utils.cc:77] 操作失败,将在 1.38118 秒内自动重试(尝试 10 次中的 1 次),原因是:不可用:执行 HTTP 请求时出错(HTTP 响应代码 0,错误代码 6,错误消息“无法解析主机“元数据”)
2017-06-06 15:38:56.976396: I tensorflow/core/platform/cloud/retrying_utils.cc:77] 操作失败,将在 1.94469 秒内自动重试(尝试 10 次中的 2 次),原因是:不可用:执行 HTTP 请求时出错(HTTP 响应代码 0,错误代码 6,错误消息“无法解析主机“元数据”)
2017-06-06 15:38:58.925964: I tensorflow/core/platform/cloud/retrying_utils.cc:77] 操作失败,将在 2.76491 秒内自动重试(10 次尝试 3 次),原因是:不可用:执行 HTTP 请求时出错(HTTP 响应代码 0,错误代码 6,错误消息“无法解析主机“元数据”)
我无法遵循必须开始调试此错误的位置。
这是一个重现问题的片段,还显示了我正在使用的 tensorflow API。
def _preprocess_features(features):
"""Function that returns preprocessed images"""
def _parse_single_example_from_tfrecord(value):
features = (
tf.parse_single_example(value,
features={'image_raw': tf.FixedLenFeature([], tf.string),
'label': tf.FixedLenFeature([model_config.LABEL_SIZE], tf.int64)
})
)
return features
def _read_and_decode_tfrecords(filename_queue):
reader = tf.TFRecordReader()
# Point it at the filename_queue
_, value = reader.read(filename_queue)
features = _parse_single_example_from_tfrecord(value)
# decode the binary string image data
image, label = _preprocess_features(features)
return image, label
def test_tfread(filelist):
train_filename_queue = (
tf.train.string_input_producer(filelist,
num_epochs=None,
shuffle=True))
image, label = (
_read_and_decode_tfrecords(train_filename_queue))
return image
images= test_tfread(["gs://test-bucket/t.tfrecords"])
sess = tf.Session(config=tf.ConfigProto(
allow_soft_placement=True,
log_device_placement=True))
coord = tf.train.Coordinator()
threads = tf.train.start_queue_runners(sess=sess, coord=coord)
try:
for step in range(model_config.MAX_STEPS):
_ = sess.run([images])
finally:
# When done, ask the threads to stop.
coord.request_stop()
# Finally, wait for them to join (i.e. cleanly shut down)
coord.join(threads)