我有一些文本数据，每个文档都有多个标签。我想为这个数据集使用 Theano 训练一个 LSTM 网络。我遇到了http://deeplearning.net/tutorial/lstm.html但它只促进了二进制分类任务。如果有人对使用哪种方法有任何建议，那就太好了。我只需要一个初步可行的方向，我可以继续工作。
谢谢，阿米特
问问题
1841 次
2 回答
6
1）改变模型的最后一层。IE
pred = tensor.nnet.softmax(tensor.dot(proj, tparams['U']) + tparams['b'])
应该被其他层替换，例如 sigmoid：
pred = tensor.nnet.sigmoid(tensor.dot(proj, tparams['U']) + tparams['b'])
2）成本也应该改变。
IE
cost = -tensor.log(pred[tensor.arange(n_samples), y] + off).mean()
应该用其他一些成本代替，例如交叉熵：
one = np.float32(1.0)
pred = T.clip(pred, 0.0001, 0.9999) # don't piss off the log
cost = -T.sum(y * T.log(pred) + (one - y) * T.log(one - pred), axis=1) # Sum over all labels
cost = T.mean(cost, axis=0) # Compute mean over samples
3）在函数build_model(tparams, options)中，你应该替换：
y = tensor.vector('y', dtype='int64')
经过
y = tensor.matrix('y', dtype='int64') # Each row of y is one sample's label e.g. [1 0 0 1 0]. sklearn.preprocessing.MultiLabelBinarizer() may be handy.
4) 更改pred_error()以支持多标签（例如，使用来自 scikit-learn 的准确性或 F1 分数等一些指标）。
于 2015-12-04T05:02:32.193 回答
1
您可以更改模型的最后一层。它将有一个目标向量，其中每个元素为 0 或 1，具体取决于您是否有目标。
于 2015-04-09T04:41:04.307 回答