问题标签 [biological-neural-network]

我正在尝试为物理科学中的特定问题创建一个 NN 模型，我的动机是减少权重的数量并根据物理见解共享权重。神经网络看起来像：

输入大小为 2n，其中前 n 个输入 (X ₁ .. X _n ) 被馈送到第一个隐藏层 - 然而，神经网络的连通性是唯一的，因为只有一个输入被馈送到每个单元第一个隐藏层。此外，所有权重在输入之间共享。

第二层中的每个单元都有 2 个输入 - 一个来自前一层，一个直接来自原始输入 (X _n+1 .. X _2n )。相应地共享权重和偏差。

最后，输出层有 1 个单元，有 100 个输入（来自第二个隐藏层的所有输出），并且对每个单元应用相同的权重和偏差。

我想创造一个类似大脑的混乱：

• 我们有长度的输入张量I和长度的n输出张O量p
• 在这两者之间，我们有K“交叉”层
• +-在交叉层，神经元与“接近”神经元的随机子集（范围c）共享当时的值。形式为 w_i*current_neuron_val
• 和J“创建”层新神经元是从一组或 ReLued “关闭”神经元（+-范围c）创建的。封闭的神经元不会进入更深层。

我们可以用 PyTorch 做这样的事情，以便这样的模型可以训练吗？

我的 X_test 值超出了我在规范化函数中指定的范围，为什么我会得到这些值，我该如何解决？（在 X_train 和 X_test 中设置此范围 [:,14:] 是因为在我的数据集中，数值从该列开始）

通过绘制 X_train 和 X_test，我们可以看出 X_train 中的值在范围内，而在 X_test 中有一些值超出了该范围。

这是 X_train 图

这是 X_test 图

为什么会这样？

所以，我对使用神经网络有点陌生（我使用带有 TensorFlow 后端的 Keras）。我的数学背景足以理解梯度下降优化背后的概念。我没有足够的信心来处理数字和符号数学。

我最近在阅读 PSO（另一种称为粒子群优化的优化技术）。我一直在构建一个 CNN 来对肺部疾病类型进行分类。到目前为止，我已经了解了以下内容：

渐变体面：

• 最小化成本函数（找到成本函数的最小值）
• 从某个随机初始化的位置开始，寻找最陡峭的梯度
• 成本函数必须是可微的（斜率 = 梯度）
• 通常以一个最小值稳定下来，这可能是局部或全局最小值

我很了解梯度下降，但对为什么 PSO 是一种更简单的方法感到困惑。以下是我对 PSO 的了解：

粒子群优化：

• 最小化成本函数
• 多个粒子在此成本函数上的不同位置开始
• 粒子寻找最小值，但每个粒子都受到群体的影响
• 这意味着粒子不会陷入单个局部最小值，并且可以根据群体行为移出最小值
• 提高找到全局最小值的机会
• 成本函数不一定是可微的？

1. 为什么这有意义？如果粒子（我对粒子的理解是具有随机初始化权重的模型的实例等，这意味着它在成本函数上的位置不同）。这本质上使更多的模型实例来训练，而不是梯度下降训练一个。如果我刚才说的完全是胡说八道，请纠正我对粒子的理解......

2. 为什么成本函数不必是可微的？粒子正在寻找最小值，因此需要沿着最陡梯度的方向向下移动。

3. 如何在 CNN 中实现 PSO？我正在查看一个名为 Pyswarms 的库，这让我更加沮丧，因为 Pyswarms 似乎不能用作 CNN 的优化器。

（PS 我将成本函数可视化为 3 个变量函数）。

你能帮我理解这种称为“Bambachian Mega Guild”的方法吗（Bambach et al., 2007）。该方法试图根据物种在 3D 立方体中出现的百分比来定位物种的分层、摄食和运动变量。我想尝试了解在 R 中使用哪个包来制作这个图，因为事实是我不太清楚如何设计这些立方体，正如你在附图中看到的那样。

Bush, AM, Bambach, RK 和 Daley, GM (2007)。中古生代和晚新生代海洋化石组合理论生态空间利用的变化。古生物学，33（01），76-97。doi:10.1666/06013.1