我有一个包含 6500 万个 IOB 格式条目的数据集。因此，在使用以下命令将其转换为 spacy 二进制格式时：
!python -m spacy convert /content/train.tsv /content/ -s -c ner
colab 将显示： tcmalloc: large alloc ..... ^C
你能给我一些规避这个问题的方法吗？我没有太多的 colab 经验或对数据科学概念的深入了解。任何参考也可以。
是否可以获取每个文件，然后制作其二进制文件并合并这样的文件？
谢谢！