15

假设我为二进制分类问题拟合了以下神经网络：

model = Sequential()
model.add(Dense(21, input_dim=19, init='uniform', activation='relu'))
model.add(Dense(80, init='uniform', activation='relu'))
model.add(Dense(80, init='uniform', activation='relu'))
model.add(Dense(1, init='uniform', activation='sigmoid'))
# Compile model
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
# Fit the model
model.fit(x2, training_target, nb_epoch=10, batch_size=32, verbose=0,validation_split=0.1, shuffle=True,callbacks=[hist])

我将如何使用 AdaBoost 增强神经网络？keras 对此有任何命令吗？

4

3 回答 3

17

这可以按如下方式完成：首先创建一个模型（为了重现性，将其作为一个函数）： 

def simple_model():                                           
    # create model
    model = Sequential()
    model.add(Dense(25, input_dim=x_train.shape[1], kernel_initializer='normal', activation='relu'))
    model.add(Dropout(0.2, input_shape=(x_train.shape[1],)))
    model.add(Dense(10, kernel_initializer='normal', activation='relu'))
    model.add(Dense(1, kernel_initializer='normal'))
    # Compile model
    model.compile(loss='mean_squared_error', optimizer='adam')
    return model

然后将其放入 sklearn 包装器中：

ann_estimator = KerasRegressor(build_fn= simple_model, epochs=100, batch_size=10, verbose=0)

然后最后提升它：

boosted_ann = AdaBoostRegressor(base_estimator= ann_estimator)
boosted_ann.fit(rescaledX, y_train.values.ravel())# scale your training data 
boosted_ann.predict(rescaledX_Test)
于 2018-09-09T15:50:45.580 回答
3

Keras 本身并没有实现 adaboost。但是，Keras 模型与 scikit-learn 兼容，因此您可能可以AdaBoostClassifier从那里使用：link。编译后使用 your modelas ，使用instance 而不是.base_estimatorfitAdaBoostClassifiermodel

但是，这样一来，您将无法使用传递给 的参数fit，例如 epoch 数或 batch_size，因此将使用默认值。如果默认值不够好，您可能需要构建自己的类，在模型之上实现 scikit-learn 接口并将适当的参数传递给fit.

于 2016-08-22T16:40:49.367 回答
1

显然，神经网络与 sklearn Adaboost 不兼容，请参阅https://github.com/scikit-learn/scikit-learn/issues/1752

于 2017-11-24T14:49:38.437 回答