csv - 如何格式化 TSV 文件以与 torchtext 一起使用？

Question

我格式化的方式是：

Jersei  N
atinge  V
média   N
. PU

Programe    V
...

每行中的第一个字符串是词汇项，另一个是 pos 标签。但是空行（我用来表示句子的结尾）AttributeError: 'Example' object has no attribute 'text'在运行给定代码时给了我错误：

src = data.Field()
trg = data.Field(sequential=False)
mt_train = datasets.TabularDataset(
    path='/path/to/file.tsv',
    fields=(src, trg))
src.build_vocab(train)

如何以正确的方式将 EOS 指示为 torchtext？

Answer 1

以下代码以我格式化的方式读取 TSV：

mt_train = datasets.SequenceTaggingDataset(path='/path/to/file.tsv',
                                           fields=(('text', text),
                                                   ('labels', labels)))

碰巧SequenceTaggingDataset正确地将空行标识为句子分隔符。