我首先解释我的任务：我有来自两条不同绳索的近 3000 张图像。它们包含绳索 1、绳索 2 和背景。我的标签/蒙版是图像，例如像素值 0 代表背景，1 代表第一根绳索，2 代表第二根绳索。您可以在下面的图片 1 和 2 中看到输入图片和基本事实/标签。请注意，我的基本事实/标签只有 3 个值：0、1 和 2。我的输入图片是灰色的，但对于 DeepLab，我将其转换为 RGB 图片，因为 DeepLab 是在 RGB 图片上进行训练的。但是我转换后的图片仍然不包含颜色。
这项任务的想法是神经网络应该从绳索中学习结构，因此即使有绳结它也可以正确标记绳索。因此颜色信息并不重要，因为我的绳索有不同的颜色，所以很容易使用 KMeans 来创建基本事实/标签。
对于这个任务，我在 Keras 中选择了一个名为 DeepLab V3+ 的语义分割网络，以 TensorFlow 作为后端。我想用我的近 3000 张图像训练 NN。所有图像的大小都在 100MB 以下，它们是 300x200 像素。也许 DeepLab 不是我任务的最佳选择，因为我的图片不包含颜色信息，而且我的图片尺寸非常小（300x200），但到目前为止我还没有为我的任务找到更好的语义分割 NN。
从 Keras 网站我知道如何使用 flow_from_directory 加载数据以及如何使用 fit_generator 方法。我不知道我的代码是否逻辑正确...
以下是链接：
https://keras.io/preprocessing/image/
https://keras.io/models/model/
https://github.com/bonlime/keras-deeplab-v3-plus
我的第一个问题是：
通过我的实现，我的显卡几乎使用了所有内存（11GB）。我不知道为什么。有没有可能，DeepLab 的权重有那么大？我的 Batchsize 默认为 32，我所有的近 300 张图像都在 100MB 以下。我已经使用了 config.gpu_options.allow_growth = True 代码，请参阅下面的代码。
一个普遍的问题：
有人知道我的任务有一个好的语义分割神经网络吗？我不需要接受彩色图像训练的 NN。但我也不需要 NN，它是用二进制地面实况图片训练的......我用 DeepLab 测试了我的原始彩色图像（图 3），但我得到的结果标签并不好......
到目前为止，这是我的代码：
import os
os.environ["CUDA_VISIBLE_DEVICES"] = "3"
import numpy as np
from model import Deeplabv3
import tensorflow as tf
import time
import tensorboard
import keras
from keras.preprocessing.image import img_to_array
from keras.applications import imagenet_utils
from keras.preprocessing.image import ImageDataGenerator
from keras.callbacks import TensorBoard
config = tf.ConfigProto()
config.gpu_options.allow_growth = True
session = tf.Session(config=config)
from keras import backend as K
K.set_session(session)
NAME = "DeepLab-{}".format(int(time.time()))
deeplab_model = Deeplabv3(input_shape=(300,200,3), classes=3)
tensorboard = TensorBoard(log_dir="logpath/{}".format(NAME))
deeplab_model.compile(loss="categorical_crossentropy", optimizer="adam", metrics=['accuracy'])
# we create two instances with the same arguments
data_gen_args = dict(featurewise_center=True,
featurewise_std_normalization=True,
rotation_range=90,
width_shift_range=0.1,
height_shift_range=0.1,
zoom_range=0.2)
image_datagen = ImageDataGenerator(**data_gen_args)
mask_datagen = ImageDataGenerator(**data_gen_args)
# Provide the same seed and keyword arguments to the fit and flow methods
seed = 1
#image_datagen.fit(images, augment=True, seed=seed)
#mask_datagen.fit(masks, augment=True, seed=seed)
image_generator = image_datagen.flow_from_directory(
'/path/Input/',
target_size=(300,200),
class_mode=None,
seed=seed)
mask_generator = mask_datagen.flow_from_directory(
'/path/Label/',
target_size=(300,200),
class_mode=None,
seed=seed)
# combine generators into one which yields image and masks
train_generator = zip(image_generator, mask_generator)
print("compiled")
#deeplab_model.fit(X, y, batch_size=32, epochs=10, validation_split=0.3, callbacks=[tensorboard])
deeplab_model.fit_generator(train_generator, steps_per_epoch= np.uint32(2935 / 32), epochs=10, callbacks=[tensorboard])
print("finish fit")
deeplab_model.save_weights('deeplab_1.h5')
deeplab_model.save('deeplab-1')
session.close()
这是我测试 DeepLab 的代码（来自 Github）：
from matplotlib import pyplot as plt
import cv2 # used for resize. if you dont have it, use anything else
import numpy as np
from model import Deeplabv3
import tensorflow as tf
from PIL import Image, ImageEnhance
deeplab_model = Deeplabv3(input_shape=(512,512,3), classes=3)
#deeplab_model = Deeplabv3()
img = Image.open("Path/Input/0/0001.png")
imResize = img.resize((512,512), Image.ANTIALIAS)
imResize = np.array(imResize)
img2 = cv2.cvtColor(imResize, cv2.COLOR_GRAY2RGB)
w, h, _ = img2.shape
ratio = 512. / np.max([w,h])
resized = cv2.resize(img2,(int(ratio*h),int(ratio*w)))
resized = resized / 127.5 - 1.
pad_x = int(512 - resized.shape[0])
resized2 = np.pad(resized,((0,pad_x),(0,0),(0,0)),mode='constant')
res = deeplab_model.predict(np.expand_dims(resized2,0))
labels = np.argmax(res.squeeze(),-1)
plt.imshow(labels[:-pad_x])
plt.show()