python - 如何将转换应用于单个神经元？

Question

通常，激活函数应用于给定层的所有神经元，如

layer = tf.nn.relu(layer)

我怎样才能应用激活函数来只说第二个神经元？

如何仅将特定转换（例如tf.exp()）应用于特定神经元？

切片列不能在这里应用，因为要切片列我需要知道行数并且在构建时是未知的。

Answer 1

您可以对动态形状的张量进行切片，就像静态张量一样。在这里，我将所有内容都剥离为[?, 2]张量，它是 0 切片：

import numpy as np
import tensorflow as tf

x = tf.placeholder(dtype=tf.float32, shape=[None, 2], name='x')
layer = tf.nn.relu(x)
slice = layer[:, 0]
activation = tf.log(1 + tf.exp(slice))

with tf.Session() as session:
  session.run(tf.global_variables_initializer())
  layer_val, slice_val, activ_val = session.run([layer, slice, activation],
                                                feed_dict={x: np.random.randn(10, 2)})
  print layer_val[:, 0]
  print slice_val
  print activ_val

您应该看到它layer_val[:, 0]与 相同slice_val，并且activ_val是它的转换。