python - 如何使用 PySpark 从 Panda 数据帧写入 Spark SQL 表？

Question

pandas.DataFrame.to_sql() 方法可以让您将数据框的结果写入数据库。这在标准 RDBMS 的上下文中运行良好。但是，如何使用 PySpark 将其与 Spark SQL 一起使用？我需要这个方法的连接参数 - 那是什么？

谢谢，马特

Answer 1

SparkSQL 与连接 SQL 引擎的 to_sql() 无关。如果sc是你的 SparkContext

import pandas as pd
df = pd.DataFrame({'Name':['Tom','Major','Pete'], 'Age':[23,45,30]})

from pyspark import SQLContext
sqlc = SQLContext(sc)

spark_df = sqlc.createDataFrame(df)