1

我正在学习 FNN 教程，之前在研究之后我了解到我需要使用 softmax 激活来解决我自己的 ML 问题，而不是如图所示的 sigmoid。

在浏览教程数小时后，我找不到 softmax 代码（模块之外）的基本示例，我可以学习以使用 sigmoid 的方式重新编写教程代码。如果我能弄清楚这一点，那么我可以将其分解并了解数学如何转换数据并通过 NN 馈送，然后我可以将其应用于其他基本的 ML 起点，例如 SVM 等。

我需要关于解开 sigmoid 数学/代码并对其进行修改以在 y 输出上使用 softmax 激活和一种热编码的指针，谢谢您的帮助。

import numpy as np

# sigmoid function
def nonlin(x,deriv=False):
    if(deriv==True):
        return x*(1-x)
    return 1/(1+np.exp(-x))

# input dataset
X = np.array([  [0,0,1],
                [0,1,1],
                [1,0,1],
                [1,1,1] ])

# output dataset            
y = np.array([[0,0,1,1]]).T

# seed random numbers to make calculation
# deterministic (just a good practice)
np.random.seed(1)

# initialize weights randomly with mean 0
syn0 = 2*np.random.random((3,1)) - 1

for iter in xrange(10000):

    # forward propagation
    l0 = X
    l1 = nonlin(np.dot(l0,syn0))

    # how much did we miss?
    l1_error = y - l1

    # multiply how much we missed by the 
    # slope of the sigmoid at the values in l1
    l1_delta = l1_error * nonlin(l1,True)

    # update weights
    syn0 += np.dot(l0.T,l1_delta)

print "Output After Training:"
print l1
4

0 回答 0