1

我正在尝试使用和in调整gamma预计算RBF内核的参数。我按照以下两个链接中的说明进行操作：gridsearchCV()Pipelinescikit-learnStackOverflow

  1. 是否可以通过网格搜索在 scikit-learn 中调整自定义内核的参数？
  2. 如何在 scikit-learn 中使用管道调整自定义内核函数的参数

但是，这两个链接显示了使用Sklearn's内置chi2_kernel和rbf_kernel函数的示例，而我有兴趣编写自己的 Gram 矩阵内核，如下面的最小工作示例代码所示。

请注意，由于原始问题的复杂性，我故意编写Train并Test设置了函数体；def main()在其中我将有一个用于从目录加载多个数据集的 for 循环，以解决二进制一对一分类问题。因此，我想将这些Train和Test数据集保留在主函数体中。而且我还必须在我的示例代码中计算时单独（而不是一步）G_Train计算Gram 矩阵。G_Test

Iris可以用任何其他数据集替换我的虚拟数据集。

import numpy as np
from sklearn.svm import SVC
from sklearn.model_selection import GridSearchCV, train_test_split
from scipy.spatial.distance import cdist
from sklearn.pipeline import Pipeline
from sklearn.base import BaseEstimator, TransformerMixin
from sklearn.model_selection import ParameterGrid
import sklearn
import sys

class myKernel(BaseEstimator, TransformerMixin):
    def __init__(self, Train, Test, gamma=1.0):
        super(myKernel,self).__init__()
        self.gamma = gamma
        self.Train = Train
        self.Test = Test

    def fit(self, **fit_params):
        return self

    def transform(self):
        gamma = self.gamma
        Train = self.Train
        Test = self.Test        

        G_Train = np.exp(-gamma*np.square(cdist(Train,Train, 'euclidean')))
        G_Test = np.exp(-gamma*np.square(cdist(Test, Train, 'euclidean'))) 
        return G_Train, G_Test

def main():   

    print('python: {}'.format(sys.version))
    print('numpy: {}'.format(np.__version__))
    print('sklearn: {}'.format(sklearn.__version__))
    print()
    np.random.seed(0)

    Train = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12], [13, 14, 15]])
    Test = np.array([[4, 5, 6],[0, 1, 0], [1, 2, 1], [0, 4, 1]])

    Train_label = [1, 1, 1, 0, 0]
    Test_label = [0, 0, 1, 1]

    my_kernel = myKernel(Train, Test)
    svm = SVC(kernel='precomputed')
    pipe = Pipeline(steps=[('svm', svm)])

    p = [{'svm__C': [[1, 10]], 'svm__gamma': [[0.01, 0.1]]}]  
    parameter = ParameterGrid(p)  
    parameter = np.ravel(parameter)

    clf = GridSearchCV(pipe, parameter, n_jobs=-1, cv=2, refit='True')

    G_Train, G_Test = my_kernel.transform() 

    print(clf.fit(G_Train, Train_label))

    #Best parameters
    print('\nBest Parameters: ', clf.best_params_)

    print('\npredicted labels: ', clf.best_estimator_.predict(G_Test))
    print("\nAccuracy on test set: {:.2f}%\n".format((clf.score(G_Test, Test_label))*100))

if __name__ == '__main__':
    main()

C可以毫无问题地调整参数，但是，我注意到只有参数的第一个值gamma显示为找到的最佳参数。在上面的示例中，我得到以下最佳参数：C = 1, gamma = 0.01. 无论我添加什么C&值，我总是只得到序列中的第一个值。这是上面代码的输出：gammapgamma

输出：

python: 3.5.2 |Anaconda custom (64-bit)| (default, Jul  5 2016, 11:41:13) [MSC v.1900 64 bit (AMD64)]
numpy: 1.13.1
sklearn: 0.19.0

GridSearchCV(cv=2, error_score='raise',
       estimator=Pipeline(memory=None,
     steps=[('svm', SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
  decision_function_shape='ovr', degree=3, gamma='auto',
  kernel='precomputed', max_iter=-1, probability=False, random_state=None,
  shrinking=True, tol=0.001, verbose=False))]),
       fit_params=None, iid=True, n_jobs=-1,
       param_grid=array([{'svm__gamma': [0.01, 0.1], 'svm__C': [1, 10]}], dtype=object),
       pre_dispatch='2*n_jobs', refit='True', return_train_score=True,
       scoring=None, verbose=0)

Best Parameters:  {'svm__gamma': 0.01, 'svm__C': 1}

predicted labels:  [1 1 1 1]
Accuracy on test set: 50.00%

我将不胜感激任何建议。

4

0 回答 0