2

我与用于标记句子的服务器交互。此服务器在端口上本地启动2020。

例如，如果我通过下面使用的客户端Je mange des pâtes .在端口上发送2020，服务器会回答Je_CL mange_V des_P pâtes_N ._.，结果总是只有一行，如果我的输入不为空，结果总是一行。

我目前必须通过此服务器标记 9 568 个文件。前 9 483 个文件按预期标记。之后，输入流似乎已关闭/已满/其他，因为IOError当Broken Pipe我尝试在stdin.

当我跳过前 9 483 个第一个文件时，最后一个文件被标记为没有任何问题，包括导致第一个错误的文件。

我的服务器没有产生任何错误日志，表明发生了一些可疑的事情......我是否处理错误？一段时间后管道出现故障是否正常？

log = codecs.open('stanford-tagger.log', 'w', 'utf-8')
p1 = Popen(["java",
            "-cp", JAR,
            "edu.stanford.nlp.tagger.maxent.MaxentTaggerServer",
            "-client",
            "-port", "2020"],
           stdin=PIPE,
           stdout=PIPE,
           stderr=log)

fhi = codecs.open(SUMMARY, 'r', 'utf-8') # a descriptor of the files to tag

for i, line in enumerate(fhi, 1):
    if i % 500:
        print "Tagged " + str(i) + " documents..."
    tokens = ... # a list of words, can be quite long
    try:
        p1.stdin.write(' '.join(tokens).encode('utf-8') + '\n')
    except IOError:
        print 'bouh, I failed ;(('
    result = p1.stdout.readline()
    # Here I do something with result...
fhi.close()
4

1 回答 1

1

除了我的评论，我可能会建议其他一些更改...

for i, line in enumerate(fhi, 1):
    if i % 500:
        print "Tagged " + str(i) + " documents..."
    tokens = ... # a list of words, can be quite long
    try:
        s = ' '.join(tokens).encode('utf-8') + '\n'
        assert s.find('\n') == len(s) - 1       # Make sure there's only one CR in s
        p1.stdin.write(s)
        p1.stdin.flush()                        # Block until we're sure it's been sent
    except IOError:
        print 'bouh, I failed ;(('
    result = p1.stdout.readline()
    assert result                               # Make sure we got something back
    assert result.find('\n') == len(result) - 1 # Make sure there's only one CR in result
    # Here I do something with result...
fhi.close()

...但鉴于还有一个我们一无所知的客户端/服务器，有很多地方可能会出错。

如果您将所有查询转储到一个文件中，然后使用类似...的命令行从命令行运行它，它是否有效？

java .... < input > output
于 2013-04-18T16:14:06.030 回答