python - 如何选择在 Kedro CSVLocalDataSet 中加载哪些列？

Question

我有一个csv看起来像的文件

a,b,c,d
1,2,3,4
5,6,7,8

我想将它作为 Kedro 加载CSVLocalDataSet，但我不想读取整个文件。我只想要几列（比如说a和b例如）。

我有什么方法可以指定要读取/加载的列列表吗？

Answer 1

CSVLocalDataSet 使用pandas.read_csv，它采用“usecols”参数。它可以通过使用load_argsdataset 参数轻松代理（所有数据集都支持通过load_args和传递的附加参数save_args）：

my_cool_data:
  type: CSVLocalDataSet
  filepath: data/path.csv
  load_args: 
    usecols: ['a', 'b']

另请注意，相同的参数适用于任何基于 pandas 的数据集。