azure - 使用 pyspark 从小部件值向现有数据框添加列

Question

我有一个数据框，我需要从正在传递的小部件值中添加一列。我正在尝试下面的代码，但无论如何它都没有帮助。当我们显示（pdf）时，我们还应该看到 ID 列也已添加。

  pdf=pTF.withColumn('ID',lit(dbutils.widgets.text("ID", "eiheifhj", label="pro_ID")).cast(StringType()))

上面的代码将所有空值推入列 ID。能否请你帮忙。我会请求专家帮助解决上述挑战

Answer 1

在下面的代码中，您实际上是在定义小部件，而不是获取小部件包含的值。

dbutils.widgets.text("ID", "eiheifhj", label="pro_ID")

• “ ID ”是您的小部件的名称。
• “ eiheifh j”是小部件的默认值。
• “ pro_ID ”是UI 中的小部件标签

因此，如果要获取“ID”小部件的值，可以使用以下方法。

dbutils.widgets.get(<widget_name>)

因此你的程序应该修改如下：

pdf=pTF.withColumn('ID',lit(dbutils.widgets.get("ID")).cast(StringType()))