0

我想使用 Flair Tagger 来训练大型数据集 (10GB),但我遇到了 MemoryError。我怎么解决这个问题?我认为将数据集分成更小的部分可能会有所帮助,我这样做了,但我不确定如何将其读取给 Flair,因为它希望我按如下方式定义文件:

corpus: Corpus = ColumnCorpus(data_folder, columns,
                          train_file='train.txt',
                          test_file='test.txt',
                          dev_file='dev.txt')

先感谢您!

4

0 回答 0