0

Apache spark新手在这里。我正在使用 Apache Spark for .net 从 ADLS 查询一个非常大的数据集。查询我的数据后，我想将数据帧转换为 csv 文件并将其发送到使用 csv 文件的 api。我有以下

queryResult_df
  .Coalesce(1)
  .Write()
  .Format("csv")
  .Option("header", "true")
  .Csv(<local_output_location>)

这需要几个小时才能完成，并且对于我正在尝试做的事情来说并不是最佳选择。有没有办法以更优化的方式生成 csv 并将其发送到消费 api 而不是在本地输出？

4

0 回答 0