amazon-s3 - 有没有办法在笔记本中使用 PySpark 列出目录？

Question

我试图查看每个文件都是某个目录，但由于目录中的每个文件都非常大，我无法使用 sc.wholeTextfile 或 sc.textfile。我只想从中获取文件名，然后在需要时将文件拉到不同的单元格中。我可以使用 Cyber​​duck 很好地访问这些文件，它会在那里显示名称。

例如：我在“name:///mainfolder/date/sectionsofdate/indiviual_files.gz”中有一组数据的链接，它可以工作，但我想在“/mainfolder/date”中查看文件的名称并在“/mainfolder/date/sectionsofdate”中，而无需通过 sc.textFile 或 sc.Wholetextfile 将它们全部加载。这两个功能都有效，所以我知道我的键是正确的，但是加载它们需要很长时间。

Answer 1

考虑到文件列表可以由单个节点检索，您可以只列出目录中的文件。看看这个回复。

WholeTextFiles返回一个元组（路径，内容），但我不知道文件内容是否懒得只获取元组的第一部分。