numpy.random.rand和 和有什么区别numpy.random.randn？
从文档中，我知道它们之间的唯一区别是每个数字的概率分布，但整体结构（维度）和使用的数据类型（浮点数）是相同的。因此，我很难调试神经网络。
具体来说，我正在尝试重新实现Michael Nielson 在《神经网络和深度学习》一书中提供的神经网络。原始代码可以在这里找到。我的实现和原来的一样；但是，我改为numpy.random.rand在函数中定义和初始化权重和偏差init，而不是numpy.random.randn 原始函数中显示的函数。
但是，我random.rand用于初始化的代码weights and biases不起作用。网络不会学习，权重和偏差不会改变。
导致这种怪异的两个随机函数之间有什么区别？
首先，正如您从文档中看到的那样，numpy.random.randn从正态分布生成样本，而numpy.random.rand从均匀分布（在 [0,1) 范围内）生成样本。
第二，为什么均匀分布不起作用？主要原因是激活函数，尤其是在您使用 sigmoid 函数的情况下。sigmoid 的图如下所示：
所以你可以看到，如果你的输入远离 0，函数的斜率下降得很快，结果你得到一个微小的梯度和微小的权重更新。如果你有很多层 - 这些梯度在回传中会被多次相乘，所以即使是“正确”的梯度在乘法之后也会变小并且不再产生任何影响。因此，如果您有很多权重将您的输入带到这些区域，那么您的网络很难训练。这就是为什么通常的做法是在零值附近初始化网络变量。这样做是为了确保您获得合理的梯度（接近 1）来训练您的网络。
但是，均匀分布并不是完全不可取的，您只需要将范围缩小并接近零。一种好的做法是使用 Xavier 初始化。在这种方法中，您可以使用以下方法初始化权重：
正态分布。其中均值为 0 var = sqrt(2. / (in + out))，其中 in - 是神经元的输入数，out - 输出数。
范围内均匀分布[-sqrt(6. / (in + out)), +sqrt(6. / (in + out))]
np.random.rand用于均匀分布（在半开区间[0.0, 1.0)）np.random.randn适用于标准正态（又名高斯）分布（均值 0 和方差 1）您可以非常轻松地直观地探索这两者之间的差异：
import numpy as np
import matplotlib.pyplot as plt
sample_size = 100000
uniform = np.random.rand(sample_size)
normal = np.random.randn(sample_size)
pdf, bins, patches = plt.hist(uniform, bins=20, range=(0, 1), density=True)
plt.title('rand: uniform')
plt.show()
pdf, bins, patches = plt.hist(normal, bins=20, range=(-4, 4), density=True)
plt.title('randn: normal')
plt.show()
哪个产品：
和
1)numpy.random.rand来自统一（在 [0,1) 范围内）
2)numpy.random.randn从正态分布生成样本