python - 如何使用张量流在给定图像中所有先前像素的情况下预测下一个像素

Question

就像一个项目一样，我想看看是否可以在给定所有先前像素的情况下预测图像中的下一个像素。
例如：假设我有一个x像素的图像。给定前y个像素，我希望能够稍微准确地预测第y+1 个像素。我应该如何解决这个问题。

Answer 1

您正在寻找某种生成模型。RNN 是常用的，这里有一篇很棒的博客文章，演示了逐个字符的文本生成。

相同的原理可以应用于任何有序序列。您将图像称为像素序列，但图像具有内在的 2D 结构（如果包含颜色，则为 3），如果您采用与文本生成完全相同的方法，该结构将会丢失。几个想法：

1. 使用 tensorflow 的GridLSTMCell s
2. 将一列像素视为序列的单个元素并逐列（或逐行）预测
3. 将想法 2 与沿列/行的一些 1D 卷积结合起来
4. 使用图像部分的特征作为生成对抗网络的种子。有关基本实现，请参阅此存储库。