我正在尝试将 conllu 文件转换为 Spacy 的 jsonl 格式。这些 conllu 文件包含Universal Dependencies 网站中指定的段落信息。问题是段落信息没有传递到每个段落都包含一个句子的 jasonl 转换文件中。
我正在运行 Spacy 版本 2.1.3 并且仅使用spacy convert 命令中的强制性参数,基本上python -m spacy input.conllu output_dir
这是我的一个 conllu 文件中的前几句话(也许它们不符合规范?)。为了可读性,我只粘贴每个句子的前几个标记。
# sent_id = tp2-p1-s1
# O cansaço começou a afetar os vestibulandos no terceiro dia de exame da Fuvest.
1 O O DET DET gender=MASCULINE|number=SINGULAR|proper=NOT_PROPER 2 DET _ _
2 cansaço cansaço NOUN NOUN gender=MASCULINE|number=SINGULAR|proper=NOT_PROPER 5 NSUBJ _ _
3 começou começar VERB VERB aspect=PERFECTIVE|mood=INDICATIVE|number=SINGULAR|person=THIRD|proper=NOT_PROPER|tense=PAST 5 AUX _ _
# sent_id = tp2-p1-s2
# "Estou meio cheia, mesmo", afirmou a candidata a filosofia Scyla Pereira Gouveia, 19, que fez as provas de biologia e química, de ontem, no colégio Pueri Domus.
1 " " PUNCT PUNCT proper=NOT_PROPER 2 P _ _
2 Estou Estar VERB VERB aspect=IMPERFECTIVE|mood=INDICATIVE|number=SINGULAR|person=FIRST|proper=NOT_PROPER|tense=PRESENT 0 ROOT _ _
3 meio meio NOUN NOUN gender=MASCULINE|number=SINGULAR|proper=NOT_PROPER 2 DOBJ _ _
4 cheia cheio ADJ ADJ gender=MASCULINE|number=SINGULAR|proper=NOT_PROPER 3 AMOD _ _
# sent_id = tp2-p1-s3
# Seu namorado, Guilherme Schneider, 18, que presta engenharia, faz exame no mesmo local.
1 Seu Seu PRON PRON gender=MASCULINE|number=SINGULAR|person=THIRD|proper=NOT_PROPER 2 DET _ _
2 namorado namorado NOUN NOUN gender=MASCULINE|number=SINGULAR|proper=NOT_PROPER 13 NSUBJ _ _
# newpar id = tp2-p2
# sent_id = tp2-p2-s1
# Pelo menos um dos 38.454 convocados para a segunda fase da Fuvest tem fortes motivos para não concluir hoje as provas.
1 Pelo Pelo ADP ADP gender=MASCULINE|number=SINGULAR|proper=NOT_PROPER 3 ADVMOD _ _
2 menos menos NOUN NOUN gender=MASCULINE|number=SINGULAR|proper=NOT_PROPER 1 MWE _ _
3 um um NUM NUM gender=MASCULINE|proper=NOT_PROPER 13 NSUBJ _ _
我希望 convert 的输出是一个包含 2 行的文件,每个段落一个。我得到4行,每个句子一个。
如果可能的话,我真的很想避免构建自己的转换器。
提前致谢