14

我正在尝试在 TensorFlow 代码中使用预训练的 Keras 模型，如本 Keras 博客文章第 II 节下所述：将 Keras 模型与 TensorFlow 结合使用。

我想使用 Keras 中可用的预训练 VGG16 网络从图像中提取卷积特征图，并在其上添加我自己的 TensorFlow 代码。所以我这样做了：

import tensorflow as tf
from tensorflow.python.keras.applications.vgg16 import VGG16, preprocess_input
from tensorflow.python.keras import backend as K

# images = a NumPy array containing 8 images

model = VGG16(include_top=False, weights='imagenet')
inputs = tf.placeholder(shape=images.shape, dtype=tf.float32)
inputs = preprocess_input(inputs)
features = model(inputs)

with tf.Session() as sess:
    K.set_session(sess)
    output = sess.run(features, feed_dict={inputs: images})
    print(output.shape)

但是，这给了我一个错误：

FailedPreconditionError: Attempting to use uninitialized value block1_conv1_2/kernel
     [[Node: block1_conv1_2/kernel/read = Identity[T=DT_FLOAT, _device="/job:localhost/replica:0/task:0/device:GPU:0"](block1_conv1_2/kernel)]]
     [[Node: vgg16_1/block5_pool/MaxPool/_3 = _Recv[client_terminated=false, recv_device="/job:localhost/replica:0/task:0/device:CPU:0", send_device="/job:localhost/replica:0/task:0/device:GPU:0", send_device_incarnation=1, tensor_name="edge_132_vgg16_1/block5_pool/MaxPool", tensor_type=DT_FLOAT, _device="/job:localhost/replica:0/task:0/device:CPU:0"]()]]

相反，如果我在运行网络之前运行初始化操作：

with tf.Session() as sess:
    K.set_session(sess)
    tf.global_variables_initializer().run()
    output = sess.run(features, feed_dict={inputs: images})
    print(output.shape)

然后我得到预期的输出：

(8, 11, 38, 512)

我的问题是，在运行时tf.global_variables_initializer()，变量是随机初始化的还是使用 ImageNet 权重初始化的？我问这个是因为上面引用的博文没有提到在使用预训练的 Keras 模型时需要运行初始化程序，这确实让我感到有些不安。

我怀疑它确实使用了 ImageNet 权重，并且只需要运行初始化程序，因为 TensorFlow 需要显式初始化所有变量。但这只是一个猜测。

4

2 回答 2

14

TLDR

使用 Keras 时，

  1. 尽可能避免使用Session（本着不可知论者 Keras 的精神）
  2. Session否则使用Keras 处理tf.keras.backend.get_session。
  3. 将 Kerasset_session用于高级用途（例如，当您需要分析或设备放置时）以及在程序的早期使用——这与“纯”Tensorflow 中的常见做法和良好用法相反。

更多关于那个

变量必须先初始化才能使用。实际上，它比这更微妙：变量必须在使用它们的会话中初始化。让我们看一下这个例子：

import tensorflow as tf

x = tf.Variable(0.)

with tf.Session() as sess:
    tf.global_variables_initializer().run()
    # x is initialized -- no issue here
    x.eval()
    
with tf.Session() as sess:
    x.eval()
    # Error -- x was never initialized in this session, even though
    # it has been initialized before in another session

因此，您的变量未初始化也就不足为奇了model，因为您之前创建了模型sess。

但是，VGG16不仅为模型变量（您使用 调用的变量tf.global_variables_initializer）创建初始化器操作，而且实际上确实调用了它们。问题是，在哪个Session？

好吧，由于在您构建模型时不存在，Keras 为您创建了一个默认模型，您可以使用tf.keras.backend.get_session(). 现在使用此会话可以按预期工作，因为在此会话中初始化了变量：

with tf.keras.backend.get_session() as sess:
    K.set_session(sess)
    output = sess.run(features, feed_dict={inputs: images})
    print(output.shape)

请注意，您也可以创建自己的Session并将其提供给 Keras，通过keras.backend.set_session- 这正是您所做的。但是，正如这个例子所示，Keras 和 TensorFlow 有不同的思维方式。

TensorFlow 用户通常会首先构建一个图，然后实例化一个 Session，可能是在冻结图之后。

Keras 与框架无关，并且在构建阶段之间没有这种内置的区别——特别是，我们在这里了解到 Keras 很可能在图构建期间实例化一个 Session。

出于这个原因，在使用 Keras 时，我建议您不要tf.Session自己管理 a，而是依赖于tf.keras.backend.get_session您是否需要处理需要tf.Session.

于 2018-06-29T20:32:01.853 回答
4

作为@P-Gn 回答的补充，如果您坚持明确创建一个新会话（如您正在阅读的教程），您应该输入以下内容：

sess = tf.Session()
K.set_session(sess)

在创建模型（即model = VGG16(...)）之前，然后使用创建的会话，如：

with sess.as_defualt():
    output = sess.run(features, feed_dict={inputs: images})
于 2018-06-29T21:20:09.303 回答