0

如果不是,我们可以按如下方式进行变量化吗?我们如何 在此处输入图像描述

4

2 回答 2

0

您可以在加载挂载文件名时查看配置变量文件名的步骤:

Step1:声明变量:

mountname = 'test'
csvname = 'original.csv'
path = "dbfs:/mnt/{0}/{1}".format(mountname,csvname)

Step2:挂载存储账户

dbutils.fs.mount(
  source = "wasbs://test@chepra.blob.core.windows.net/",
  mount_point = "/mnt/{0}".format(mountname),
  extra_configs = {"fs.azure.sas.test.chepra.blob.core.windows.net":"gv7nXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXlOiA=="})
print("=> Succeeded") 

第三步:创建 Spark 数据框

df = spark.read.format("csv").option("sep", ",").options(header= "true", inferschema='true').option('escape','"').load("{0}".format(path))

在此处输入图像描述

于 2020-07-14T06:52:21.017 回答
0

如我所见,应该是python,然后只需使用:.load("..../{}".format(filename))。如果是 Scala,那么您可以使用.load(s".../$filename")替换文件名...

于 2020-07-08T15:08:09.007 回答