databricks - 无法使用 DataBricks 熔断器安装路径从 DBFS 访问文件

Question

我在数据块中有文件，如下所示

我正在尝试从数据砖笔记本中像这样访问它们

但我收到错误，即使尝试使用也会pandas出错

我不明白我哪里错了。尽管dbutils.fs.head('/FileStore/tables/flights_small.csv')给了我正确的结果。

Answer 1

您正在使用 DataBricks Community Edition，因为DBR >= 7.0 的怪癖，您无法从您的路径中读取。

我通常只有一个类似下面新命令的命令来解决这个问题，并以编程方式将 te 文件带到可访问的临时文件夹：

%fs cp /FileStore/tables/flights_small.csv file:/tmp/flights_small.csv

然后简单地阅读它：

pd.read_csv('file:/tmp/flights_small.csv')

---

考虑到社区版中的此类怪癖（集群启动时间长），我通常使用Google Colab在浏览器笔记本中进行业余爱好。

您也可以在 Google Colab 上运行 pyspark

!pip install pyspark

from pyspark.sql import SparkSession
spark = SparkSession.builder\
        .master("local")\
        .appName("Colab")\
        .config('spark.ui.port', '4050')\
        .getOrCreate()