0

我使用 linecache 在 Pytorch 中创建了一个惰性数据加载器。它从一个 tsv 文件中提取,我也使用该文件来使用 Pytorch 的 build_vocab 构建词汇表,因此我需要为每一列设置一个标题行。

对于我使用 getitem 的数据集:

def __getitem__(self, index):
    "Generates one sample of data"
    line = linecache.getline(self._filepath, index + 1)

但是,由于 linecache 不会将整个文件加载到内存中,因此没有明显的方法可以跳过 tsv 文件的第一行/标题。我尝试了“if index == 0: pass”,但这显然返回了 None ,这引发了一个不同的错误。

我目前的解决方案是只有两个 tsv,一个有标题,一个没有。

4

0 回答 0