machine-learning - 如何训练具有三个图像作为单个输入的模型

Question

我想训练 Inceptionv3 模型，我试图给出单个图像的 3 个不同视图并对其进行训练。所以我想在一个提要中提供三张图像作为我的输入。

用例：

我想预测鞋类的类型。在这个问题中，通常很多信息都存在不同的视图，所以只想尝试这种方法。

Answer 1

我认为你有不同的行为方式：

• 删除第一层 inception 并创建您的以支持 3x3 尺寸。
• 对每个输入使用第一个 inception 块，然后将它们连接到某个 fc 层（或之前）。如果要搜索的功能相似，您可以使用共享参数。

第一种情况将合并所有维度并分散为任何图像提供的信息。第二个将提取每个图像中的特定特征。

Answer 2

简单的方法是将所有 3 个图像分别输入到 Inceptionv3 模型中，然后对所有 3 个输出一起执行一些加权决策。

更好的方法是将 Inceptionv3 模型用作 3 个输入分支中的 1 个，而不是采用每个分支的嵌入层（最后一层）并将它们全部与一个完全连接的分类层（使用 softmax 激活）结合起来。这 3 个分支既可以针对特定视图进行训练，也可以与共享权重一起训练（使用如此大的模型，一起工作会很好）。

顺便说一句，对于鞋型分类任务，我建议使用更简单的模型（Inceptionv3 是一种矫枉过正）。