2

我在 Databricks 上运行一个笔记本，它创建分区的 PySpark 数据帧并将它们上传到 s3。有问题的表有 ~5,000 个文件，总大小约为 5 GB（需要以这种方式分区才能被 Athena 有效查询）。我的问题是，将文件写入 s3 似乎是顺序的而不是并行的，可能需要长达一小时。例如：

df.repartition("customer_id")
  .write.partitionBy("customer_id")
  .mode("overwrite")
  .format("parquet")
  .save("s3a://mybucket/path-to-table/")

我使用以下配置在 AWS 上启动了我的集群（i3.xlarge）：

spark.hadoop.orc.overwrite.output.file true
spark.databricks.io.directoryCommit.enableLogicalDelete true
spark.sql.sources.commitProtocolClass org.apache.spark.sql.execution.datasources.SQLHadoopMapReduceCommitProtocol
parquet.enable.summary-metadata false
spark.hadoop.fs.s3.maxRetries 20
spark.databricks.hive.metastore.glueCatalog.enabled true
spark.hadoop.validateOutputSpecs false
mapreduce.fileoutputcommitter.marksuccessfuljobs false
spark.sql.legacy.parquet.datetimeRebaseModeInRead CORRECTED
spark.hadoop.fs.s3.consistent.retryPeriodSeconds 10
spark.speculation true
spark.hadoop.fs.s3.consistent true
spark.hadoop.fs.s3.consistent.retryCount 5

在这种情况下，我有许多需要快速写入 s3 的小文件，推荐的方法是什么？

4

2 回答 2

2

我看到您的写入速度很慢并且可以加快速度的几个原因：

  1. 您可能有超过 5,000 个客户？因此，使用分区依据，您可能有超过 5,000 个分区。由于元存储中的开销，使用 Parquet（非 Delta Lake 表）可能会非常慢。我不认为你想要这么多分区。
  2. 5GB 有 5,000 个文件，每个文件大小约为 1MB。这是非常小的。对于此问题，您写出的文件大小应接近 100MB。
  3. 默认集群选项设计得非常好，我很少需要更改它们，当我这样做时，我正在启用新功能。您应该尝试解决上述问题，并删除设置中的所有这些覆盖。
  4. Repartition("customer_id") 和 partitionBy("customer_id") 是多余的。

推荐：

  1. 将文件大小增加到 ~ 100MB，如果您的上一个阶段创建了 > 50 个分区，您可以使用 coalesce() 执行此操作。
  2. 通过 customer_id 删除分区，也许您可​​能认为这样做有充分的理由，但是小文件和大量分区正在扼杀您的性能。
  3. 尝试开放的 Delta Lake 格式（例如CREATE TABLE ... USING DELTA LOCATION ...。这将加快您的客户选择性查询，如果您也可以加快连接 customer_id 的速度，OPTIMIZE ... ZORDER BY customer_id并且可以自动优化文件的大小。

最终结果看起来更清晰：

df.coalesce(50)
  .write
  .mode("overwrite")
  .format("delta")
  .save("s3a://mybucket/path-to-table/")

请参阅自动优化选项以自动调整文件大小：https ://docs.databricks.com/delta/optimizations/auto-optimize.html#usage

Delta Lake 表可以与 Athena 一起使用https://docs.databricks.com/delta/presto-integration.html#presto-and-athena-to-delta-lake-integration

于 2020-08-25T02:47:10.760 回答
1

在 s3 存储桶上，你设置了fs.s3a.fast.upload = true吗？我正在此链接上查看类似的票

于 2020-08-24T15:39:08.997 回答