pandas - 如何从 Spark 以 Feather 格式保存文件\存储？

Question

是否可以将数据帧从 Apache Spark 导出到羽毛（https://github.com/wesm/feather）文件？

Answer 1

不确定，您可以直接执行此操作，但您可以先将 Spark Dataframe（在 pyspark 上）转换为 pandas 并将其存储到 Feather：

pandas_df = spark_df.toPandas()

feather.write_feather(pandas_df, 'example_feather')

但我担心，这会对性能产生影响。