我发现与 Keras 函数式 API 一起使用的唯一超参数优化库是 Talos。
有谁知道其他可以工作的吗？
问问题
1164 次
3 回答
0
Talos 似乎不适用于当前的 TensorFlow 版本，我们可以做的最简单的方法是使用嵌套的 for 循环函数，但我们会牺牲交叉验证部分。
于 2021-11-18T02:45:54.890 回答
0
使用 KERAS 功能 API，您实际上可以让 GridSearchCV 工作。由于网格仅适用于顺序，因此您只需要使用顺序层包装模型。
model = Sequential()
model.add(Resnet50())
但不要忘记在添加之前调整您的 Keras 模型，最后添加 Dense 模型以映射结果。
在找到此解决方案之前，我曾亲自尝试并运行过 GridSearch。
于 2021-12-13T05:44:36.207 回答
-1
您可以使用带有交叉验证的 Sklearn 网格搜索来执行 Keras 超参数调整。
要使用顺序 Keras 模型（仅限单输入）执行网格搜索，您必须使用用于 Scikit-Learn API 的 Keras Wrappers将这些模型转换为与 sklearn 兼容的估计器。
sklearn 估计器是具有 fit(X,y) 、 predict(x) 和 scoremethods 的类对象。（和可选的 predict_proba 方法）
无需从头开始，您可以通过实现 keras.wrappers.scikit_learnpackage 中的两个包装器之一，将 Sequential Keras 模型用作 Scikit-Learn 工作流程的一部分：
KerasClassifier(build_fn=None, **sk_params): which implements the Scikit-Learn classifier interface.
KerasRegressor(build_fn=None, **sk_params): which implements the Scikit-Learn regressor interface.
论据
build_fn: callable function or class instance the should construct, compile and return a Keras model, which will then be used to fit/predict.
sk_params: model parameters & fitting parameters.
请注意，与 scikit-learn 中的所有其他估算器一样，build_fn 应该为其参数提供默认值，以便您可以创建估算器而无需将任何值传递给 sk_params。
示例：使用 Keras 进行简单的二元分类
实现 Keras 模型创建器功能
我们想要微调这些超参数：优化器、dropout_rate、kernel_init 方法和dense_layer_sizes。
这些参数必须在create_model()函数的签名中使用默认参数定义。如果需要，您可以添加其他超参数，例如 learning_rate，...
binary_crossentropy非常适合二分类问题。
def create_model(dense_layer_sizes, optimizer="adam", dropout=0.1, init='uniform', nbr_features=2500, dense_nparams=256):
model = Sequential()
model.add(Dense(dense_nparams, activation='relu', input_shape=(nbr_features,), kernel_initializer=init,))
model.add(Dropout(dropout), )
for layer_size in dense_layer_sizes:
model.add(Dense(layer_size, activation='relu'))
model.add(Dropout(dropout), )
model.add(Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer=optimizer,metrics=["accuracy"])
return model
创建类似 sklearn 的估计器
这是一个分类问题，所以我们使用 KerasClassifier 包装器。
kears_estimator = KerasClassifier(build_fn=create_model, verbose=1)
定义超参数空间
我们在这里定义我们的超参数空间，包括 keras拟合超参数：epochs和batch_size：
# define the grid search parameters
param_grid = {
epochs': [10, 100, ],
dense_nparams': [32, 256, 512],
init': [ 'uniform', 'zeros', 'normal', ],
batch_size':[2, 16, 32],
optimizer':['RMSprop', 'Adam', 'Adamax', 'sgd'],
dropout': [0.5, 0.4, 0.3, 0.2, 0.1, 0]
}
最后使用 KFold 交叉验证执行网格搜索
kfold_splits = 5
grid = GridSearchCV(estimator=kears_estimator,
n_jobs=-1,
verbose=1,
return_train_score=True,
cv=kfold_splits, #StratifiedKFold(n_splits=kfold_splits, shuffle=True)
param_grid=param_grid,)
grid_result = grid.fit(X, y, )
# summarize results
print("Best: %f using %s" % (grid_result.best_score_, grid_result.best_params_))
means = grid_result.cv_results_['mean_test_score']
stds = grid_result.cv_results_['std_test_score']
params = grid_result.cv_results_['params']
for mean, stdev, param in zip(means, stds, params):
print("%f (%f) with: %r" % (mean, stdev, param))
于 2019-09-17T16:48:21.843 回答