python - 如何将三个 Conllu 文件与 Conllu python 库合并？

Question

这是我第一次使用 conllu 文件。我无法找到任何方法将这些文件合并到 Conllu python 库中。任何线索都会有所帮助。谢谢。

Answer 1

每次调用 parse() 时，都会返回一个 TokenLists 列表。因此，可以通过合并这些令牌列表来合并多个文件。

例子：

from io import open
from conllu import parse_incr

files = ["file1.conllu", "file2.conllu", "file3.conllu"]

merged_tokenlists = []
for file in files:
    data_file = open("file1.conllu", "r", encoding="utf-8")
    for tokenlist in parse_incr(data_file):
        merged_tokenlists.append(tokenlist)

conllu 库的作者在这里，很高兴看到人们使用它！