0

有人提到，当我们使用生成数据帧的 spark.read JDBC 时，如果我们在该数据帧上执行两次 df.write。**它会创建两个到源的连接吗？** 我需要一些帮助，以了解有关 spark 的内部工作原理的更多见解。

所以假设我创建了一个函数来返回一个 df

read_df():
df = spark.read.format("jdbc").option("header", "true").option("inferSchema","true").option("url",jdbc_str[0]).option("lowerBound", mini).option("upperBound", maxi).option("numPartitions", num_partitions). option("partitionColumn", df_info[2]).option("dbtable", tablename).option("user", df_info[0]).option("password", df_info[1]).option("driver", "com.informix.jdbc.IfxDriver").load()
return df

现在我将从上述函数返回的 df 写在两个地方。

def write_df_delta(df):
df.write.format("delta").partitionBy("partitioncolumn").save(location)
return "successful"
def write_df_csvserde(df):
df.coalesce(1).write.option("header", "true").mode("append").csv(target_dir)
return "successful"

现在，如果我如下在 main 中调用它，那真的会与源建立两个连接吗？如果是; 有什么方法可以避免这种情况并且只读一次。此处有关 spark for load 的文档引用 load() “从数据源加载数据并将其作为 a:class 返回DataFrame。” 所以需要更多关于这里内部发挥作用的背景信息。

def main():
df=read_df()
status = write_df_delta(df)  
status = write_df_csvserde(df)
if __name__ == '__main__' :
    main()
4

1 回答 1

0

因为您没有.cache，否则.persist它将从 JDBC 源读取两次。

两个动作明显。

缓存也是有代价的。

于 2020-09-30T18:30:07.263 回答