1

我希望这里有人可以帮助我：我正在尝试实现一个神经网络来查找数据集群，即呈现为 2D 集群。我尝试遵循维基百科上描述的标准算法：我寻找每个数据点的最小距离，并更新这个神经元对数据点的权重。当总距离足够小时，我停止这样做。

我的结果是找到了大多数集群，但在视图上是错误的，虽然它计算了一个永久距离，但它不再收敛。我的错误在哪里？

typedef struct{
    double x;
    double y;
}Data;

typedef struct{
    double x;
    double y;
}Neuron;

typedef struct{
    size_t numNeurons;
    Neuron* neurons;
}Network;

int main(void){
    srand(time(NULL));

    Data trainingData[1000];
    size_t sizeTrainingData = 0;
    size_t sizeClasses = 0;
    Network network;

    getData(trainingData, &sizeTrainingData, &sizeClasses);

    initializeNetwork(&network, sizeClasses);
    normalizeData(trainingData, sizeTrainingData);
    train(&network, trainingData, sizeTrainingData);

    return 0;
}

void train(Network* network, Data trainingData[], size_t sizeTrainingData){
    for(int epoch=0; epoch<TRAINING_EPOCHS; ++epoch){
        double learningRate = getLearningRate(epoch);
        double totalDistance = 0;
        for(int i=0; i<sizeTrainingData; ++i){
            Data currentData = trainingData[i];
            int winningNeuron = 0;
            totalDistance += findWinningNeuron(network, currentData, &winningNeuron);
            //update weight
            network->neurons[i].x += learningRate * (currentData.x - network->neurons[i].x);
            network->neurons[i].y += learningRate * (currentData.y - network->neurons[i].y);
        }
        if(totalDistance<MIN_TOTAL_DISTANCE) break;
    }
}

double getLearningRate(int epoch){
    return LEARNING_RATE * exp(-log(LEARNING_RATE/LEARNING_RATE_MIN_VALUE)*((double)epoch/TRAINING_EPOCHS));
}

double findWinningNeuron(Network* network, Data data, int* winningNeuron){
    double smallestDistance = 9999;
    for(unsigned int currentNeuronIndex=0; currentNeuronIndex<network->numNeurons; ++currentNeuronIndex){
        Neuron neuron = network->neurons[currentNeuronIndex];
        double distance = sqrt(pow(data.x-neuron.x,2)+pow(data.y-neuron.y,2));
        if(distance<smallestDistance){
            smallestDistance = distance;
            *winningNeuron = currentNeuronIndex;
        }
    }
    return smallestDistance;
}

initializeNetwork(...)以 -1 和 1 范围内的随机权重启动所有神经元。 normalizeData(...)以某种方式进行归一化，使最大值为 1。

一个例子： 如果我为网络提供大约 50 个（归一化的）数据点，这些数据点被分成 3 个集群，其余的totaldistance保持在7.3左右。当我检查神经元的位置时，应该代表集群的中心，两个是完美的，一个在集群的边界。算法不应该把它移到更多的中心吗？我重复了几次算法，输出总是相似的（在完全相同的错误点）

4

1 回答 1

2

你的代码看起来不像 LVQ，特别是你从来没有使用过获胜的神经元，而你应该只移动这个

void train(Network* network, Data trainingData[], size_t sizeTrainingData){
    for(int epoch=0; epoch<TRAINING_EPOCHS; ++epoch){
        double learningRate = getLearningRate(epoch);
        double totalDistance = 0;
        for(int i=0; i<sizeTrainingData; ++i){
            Data currentData = trainingData[i];
            int winningNeuron = 0;
            totalDistance += findWinningNeuron(network, currentData, &winningNeuron);
            //update weight
            network->neurons[i].x += learningRate * (currentData.x - network->neurons[i].x);
            network->neurons[i].y += learningRate * (currentData.y - network->neurons[i].y);
        }
        if(totalDistance<MIN_TOTAL_DISTANCE) break;
    }
}

你要移动的神经元在winningNeuron你更新实际迭代训练样本i的神经元，我很惊讶你没有忘记你的记忆（网络->神经元应该小于 sizeTrainingData）。我猜你的意思是i

void train(Network* network, Data trainingData[], size_t sizeTrainingData){
    for(int epoch=0; epoch<TRAINING_EPOCHS; ++epoch){
        double learningRate = getLearningRate(epoch);
        double totalDistance = 0;
        for(int i=0; i<sizeTrainingData; ++i){
            Data currentData = trainingData[i];
            int winningNeuron = 0;
            totalDistance += findWinningNeuron(network, currentData, &winningNeuron);
            //update weight
            network->neurons[winningNeuron].x += learningRate * (currentData.x - network->neurons[winningNeuron].x);
            network->neurons[winningNeuron].y += learningRate * (currentData.y - network->neurons[winningNeuron].y);
        }
        if(totalDistance<MIN_TOTAL_DISTANCE) break;
    }
}
于 2015-12-22T16:43:32.603 回答