pyspark - 我想知道 spark-redshift 库是开源/免费使用还是必须通过 Databricks 获得许可

Question

我想使用 spark-redshift 库使用以下代码将数据从 AWS S3 写入 AWS Redshift。在使用它之前，我想知道 spark-redshift 库是开源/免费使用还是必须通过 Databricks 获得许可。

val query="delete from emp where empno=7790"

//Write data to RedShift

mydf.coalesce(1).write.
format("com.databricks.spark.redshift")
.option("url",redShiftUrl)
.option("dbtable","emp")
.option("tempdir",s3dir)
.option("forward_spark_s3_credentials",true)
.option("preactions",query).
mode("append").
save()

Answer 1

spark-redshift 是由 Databricks 维护的一个包，社区贡献来自 SwiftKey 和其他公司。无需许可证即可免费使用。