我有大约 300 个变量,我正在尝试通过 csv 传递 customschema。下面是我正在使用的示例代码。但是在通过 csv 文件上传架构时...输出不包含列列表:
Output : StructType(List(StructField(StructType([,StringType,true)))
CSV 中的代码:
schema = StructType([ \
StructField("COl1",StringType(),True), \
StructField("COL2",DecimalType(20,10),True), \
StructField("COL3",DecimalType(20,10),True)
])
# reading schema
sch_df = spark.read.option("header", "true").csv("schema.csv").schema
# Passing schema
df = spark.read.schema(sch_df).option("header", "true").csv("/sample.csv")
您能否立即提供通过 csv 文件上传架构的权限?