0

我不知道为什么我的内存不足。拿 Goldberg 的解析器来说，我所做的就是改变这一行：

分数，exprs = self.__evaluate(conll_sentence, True)

并在其周围添加一个 for 循环以重复 K 次：

for k in xrange(K):
    scores, exprs = self.__evaluate(conll_sentence, True)
    # do something

然后在getExpr中，我执行以下操作：

samples_out = np.random.normal(0,0.001, (1, self.hidden_units))
samples_FOH = np.random.normal(0,0.001,(self.hidden_units, self.ldims * 2))
samples_FOM = np.random.normal(0,0.001,(self.hidden_units, self.ldims * 2))
samples_Bias = np.random.normal(0,0.001, (self.hidden_units))

XoutLayer = self.outLayer.expr()+inputTensor(samples_out)
XhidLayerFOH = self.hidLayerFOH.expr()+inputTensor(samples_FOH)
XhidLayerFOM = self.hidLayerFOM.expr()+inputTensor(samples_FOM)
XhidBias = self.hidBias.expr()+inputTensor(samples_Bias)

if sentence[i].headfov is None:
    sentence[i].headfov = XhidLayerFOH * concatenate([sentence[i].lstms[0], sentence[i].lstms[1]])
if sentence[j].modfov is None:
    sentence[j].modfov  = XhidLayerFOM * concatenate([sentence[j].lstms[0], sentence[j].lstms[1]])

output = XoutLayer * self.activation(sentence[i].headfov + sentence[j].modfov + XhidBias)
return output

本质上，上述块中发生的事情是首先生成正态分布的噪声，然后将其添加到训练值中。但似乎在某个地方，所有生成的值都保留在内存中，只是内存不足。有谁知道为什么？

4

1 回答 1

1

Dynet 表达式保留在内存中，直到下一次调用renew_cg().

因此，修复方法是在循环的每次迭代后调用它，前提是您已从计算图中检索到所需的所有信息。

旁注：当您进行简单的添加时，例如：

XoutLayer = self.outLayer.expr()+inputTensor(samples_out)

实际上不执行任何添加。您只需创建一个新表达式并指定如何从其他表达式评估它。当计算依赖于 的表达式或表达式上调用.forward()（或.value()等）时，将执行实际计算。因此，dynet 需要为当前计算图中的所有表达式分配内存。XoutLayerXoutLayer

于 2018-05-29T15:02:45.853 回答