tensorflow - 使用 LSTM 进行序列标记中的未知标记

Question

我已经用 a,b,c 标签标记了数据集，并且必须用 a,b,c,others 类别标记传入的序列。它应该对已知序列进行分类和标记，或者说我以前没有见过它。

我认为我应该自定义我的网络以使标签独立。因此标签分数的总和不应为 1，并且每个标签分数都独立于其他标签分数。

例如

sequence a : .95, 0.1, 0,01 
sequence b : .02, 0.87, 0.9
unknown : .2, .15, .12

那么我应该在我的神经网络中更改什么设置：

model.add(LSTM(128, input_dim=128, input_length=10, unroll=True, implementation=0))
model.add(Dense(3, activation='sigmoid'))
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=[accuracy'])

Answer 1

您所需要的只是Dense(4,...)代替Dense (3,...).

四个输出之间绝对没有依赖关系。如果激活是 softmax，则总和为 1。