-1

我的问题真的很简单。

我正在使用 pyspark 将配置单元表导出到 SQL Server。

我发现我将列名导出为 SQL Server 中的行。

我只想在没有列名的情况下这样做。

在此处输入图像描述

我不希望表格中的这些列...

我的pyspark代码在这里：

df.write.jdbc("jdbc:sqlserver://10.8.12.10;instanceName=sql1", "table_name", "overwrite", {"user": "user_name", "password": "111111", "database": "Finance"})

是否有跳过列名的选项？

4

1 回答 1

1

我认为 JDBC 连接器实际上并不是添加这些标题行的原因。标头已经存在于您的 Dataframe 中，这是从 Hive 表中读取数据时的一个已知问题。

如果您使用 SQL 从 Hive 加载数据，您可以尝试使用条件过滤标头col != 'col'：

# adapt the condition by verifiying what is in  df.show()    
df = spark.sql("select * from my_table where sold_to_party!='Sold-To Party'")
于 2019-12-14T00:19:55.897 回答