3

非常感谢您的支持！我目前使用 TF Slim - TF Hub 似乎是迁移学习的一个非常有用的补充。但是，文档中还不清楚以下几点：

1. 预处理是隐式完成的吗？这是基于模块构造函数中的“trainable=True/False”参数吗？

module = hub.Module("https://tfhub.dev/google/imagenet/inception_v3/feature_vector/1", trainable=True)

当我使用 Tf-slim 时，我使用预处理方法：

inception_preprocessing.preprocess_image(image, img_height, img_width, is_training)

2.Inception模型如何访问AuxLogits？好像不见了：

import tensorflow_hub as hub
import tensorflow as tf

img = tf.random_uniform([10,299,299,3])
module = hub.Module("https://tfhub.dev/google/imagenet/inception_v3/feature_vector/1", trainable=True)
outputs = module(dict(images=img), signature="image_feature_vector", as_dict=True)

输出是

dict_keys(['InceptionV3/Mixed_6b', 'InceptionV3/MaxPool_5a_3x3', 'InceptionV3/Mixed_6c', 'InceptionV3/Mixed_6d', 'InceptionV3/Mixed_6e', 'InceptionV3/Mixed_7a', 'InceptionV3/Mixed_7b', 'InceptionV3/Conv2d_2a_3x3', 'InceptionV3/Mixed_7c', 'InceptionV3/Conv2d_4a_3x3', 'InceptionV3/Conv2d_1a_3x3', 'InceptionV3/global_pool', 'InceptionV3/MaxPool_3a_3x3', 'InceptionV3/Conv2d_2b_3x3', 'InceptionV3/Conv2d_3b_1x1', 'default', 'InceptionV3/Mixed_5b', 'InceptionV3/Mixed_5c', 'InceptionV3/Mixed_5d', 'InceptionV3/Mixed_6a'])
4

1 回答 1

2

这些都是很好的问题；让我尝试为不太熟悉 TF-Slim 的读者提供好的答案。

1. 预处理不是由模块完成的，因为它很多关于你的数据，而不是模块内的 CNN 架构。该模块仅处理将输入值从规范 [0,1] 范围转换为模块内预训练的 CNN 所期望的任何值。

冗长的理由：用于 CNN 训练的图像预处理通常包括解码输入 JPEG（或其他）、从中选择（相当大的）随机裁剪、随机光度和几何变换（扭曲颜色、左/右翻转等），并调整为一批训练输入的常见图像大小。实现https://tensorflow.org/hub/common_signatures/images的 TensorFlow Hub 模块将所有这些都留给模块周围的代码。

主要原因是合适的随机变换很大程度上取决于您的训练任务，而不是架构或模块的训练状态权重。例如，如果您对汽车和狗进行分类，颜色失真会有所帮助，但可能不适用于成熟的香蕉和未成熟的香蕉，等等。

此外，一批已解码但尚未裁剪/调整大小的图像很难表示为单个张量（除非您将其设为编码字符串的一维张量，但这会带来其他问题，例如将反向传播分解为模块高级用途的输入）。

底线：使用该模块的 Python 代码需要进行图像预处理（缩放值除外），例如https://github.com/tensorflow/hub/blob/master/examples/image_retraining/retrain.py

苗条的预处理方法将特定于数据集的随机转换（针对 Imagenet 进行了调整！）与重新缩放到架构的值范围（Hub 模块为您做的）混为一谈。这意味着它们在这里不直接适用。

2. 实际上，在 tfhub.dev/google/... 下发布的初始模块集中缺少辅助头，但我希望它们无论如何都可以正常工作以进行重新训练。

更多细节：并非所有架构都有辅助头，甚至最初的 Inception 论文都说它们的影响“相对较小”[Szegedy&al. 2015；§5]。将图像特征向量模块用于自定义分类任务将使模块使用者代码负担检查辅助功能的负担，如果找到，则将辅助逻辑和损失项放在首位。

这种并发症似乎并没有发挥作用，但更多的实验可能会反驳这一评估。（如果您知道，请在 GitHub 问题中分享。）

目前，将辅助头放在https://tfhub.dev/google/imagenet/inception_v3/feature_vector/1上的唯一方法是从https://github.com/tensorflow/models/blob/master复制并粘贴一些行/research/slim/nets/inception_v3.py（搜索“Auxiliary head logits”）并将其应用于您看到的“Inception_V3/Mixed_6e”输出。

3. 你没有问，但是：对于训练，模块的文档建议通过 hub.Module(..., tags={"train"})，否则批量规范在推理模式下运行（和 dropout，如果模块有任何）。

希望这能解释事情的方式和原因。

Arno（来自 TensorFlow Hub 开发人员）

于 2018-04-25T14:02:58.270 回答