1

我有大约 300 个变量,我正在尝试通过 csv 传递 customschema。下面是我正在使用的示例代码。但是在通过 csv 文件上传架构时...输出不包含列列表:

Output : StructType(List(StructField(StructType([,StringType,true)))

CSV 中的代码:

schema = StructType([ \
            StructField("COl1",StringType(),True), \
            StructField("COL2",DecimalType(20,10),True), \
            StructField("COL3",DecimalType(20,10),True)
        ])

# reading schema
sch_df = spark.read.option("header", "true").csv("schema.csv").schema
# Passing schema
df = spark.read.schema(sch_df).option("header", "true").csv("/sample.csv")

您能否立即提供通过 csv 文件上传架构的权限?

4

0 回答 0