machine-learning - 基于向量输入生成或预测图像

Question

我想根据给定的输入（向量或标量）以 mxn 图像的形式生成状态场（例如 xy 平面中的温度场）。

为了简单起见，我举个简单的例子：如果输入为0，则输出应该是一只黑猫。对于输入 = 0.53，输出是一只棕色猫，....，对于输入 = 3，它是一只黑狗，依此类推。

它可以被认为是分类的倒数，但我不确定。

根据我目前的搜索，我认为这是一个图像生成问题，其中 GAN 或自动编码器可以用于标记数据集（我有不同输入向量的图像）。我的问题：

1. 这是解决这个问题的正确方法吗？如果是这样，你能推荐好的例子吗？

2. 如果这不是解决问题的正确方法，请您分享您对如何解决的意见？

Answer 1

自动编码器可能是合适的，您需要通过提供与输入和输出相同的图像来进行训练。然后，在训练时，您可以记录编码器和解码器模块之间的潜在向量。之后，您可以将这些向量与自动编码器的解码器部分一起使用来生成图像。

训练：编码器 --> [潜在向量] --> 解码器

预言

[潜在向量] --> 解码器 --> 输出

这只是一个想法，我之前没有尝试过。希望它有所帮助：D

Answer 2

这是 GAN 的典型问题。尤其是条件 GAN 可以用来解决这个问题。检查以下链接了解更多信息： https ://phillipi.github.io/pix2pix/