如果不是,我们可以按如下方式进行变量化吗?我们如何 在此处输入图像描述
问问题
46 次
2 回答
0
您可以在加载挂载文件名时查看配置变量文件名的步骤:
Step1:声明变量:
mountname = 'test'
csvname = 'original.csv'
path = "dbfs:/mnt/{0}/{1}".format(mountname,csvname)
Step2:挂载存储账户
dbutils.fs.mount(
source = "wasbs://test@chepra.blob.core.windows.net/",
mount_point = "/mnt/{0}".format(mountname),
extra_configs = {"fs.azure.sas.test.chepra.blob.core.windows.net":"gv7nXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXlOiA=="})
print("=> Succeeded")
第三步:创建 Spark 数据框
df = spark.read.format("csv").option("sep", ",").options(header= "true", inferschema='true').option('escape','"').load("{0}".format(path))
于 2020-07-14T06:52:21.017 回答
0
如我所见,应该是python,然后只需使用:.load("..../{}".format(filename))
。如果是 Scala,那么您可以使用.load(s".../$filename")
替换文件名...
于 2020-07-08T15:08:09.007 回答