我想使用 Flair Tagger 来训练大型数据集 (10GB),但我遇到了 MemoryError。我怎么解决这个问题?我认为将数据集分成更小的部分可能会有所帮助,我这样做了,但我不确定如何将其读取给 Flair,因为它希望我按如下方式定义文件:
corpus: Corpus = ColumnCorpus(data_folder, columns,
train_file='train.txt',
test_file='test.txt',
dev_file='dev.txt')
先感谢您!