1

我正在尝试将数据从 Azure Data Lake 加载到我的数据科学 VM 中的 Jupyter 笔记本。请注意，我是数据湖存储的所有者，具有读取、写入和执行权限。带有 Jupyter 的数据科学 VM 在同一个订阅下运行，并且在同一个资源组下。我正在尝试以下两种方法，但都面临一个问题。它们基于此博客文章。

  • PySpark

以下是我使用 PySpark 加载数据的代码：

hvacText = sc.textFile("adl://name.azuredatalakestore.net/file_to_read.csv")
hvacText.count()

抛出以下异常：

Py4JJavaError: An error occurred while calling o52.text.
: java.io.IOException: No FileSystem for scheme: adl
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2660)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2667)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:94)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2703)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2685)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:373)
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:295)
at org.apache.spark.sql.execution.datasources.DataSource$.org$apache$spark$sql$execution$datasources$DataSource$$checkAndGlobPathIfNecessary(DataSource.scala:616)
at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$14.apply(DataSource.scala:350)
at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$14.apply(DataSource.scala:350)
at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
at scala.collection.immutable.List.foreach(List.scala:381)
at scala.collection.TraversableLike$class.flatMap(TraversableLike.scala:241)
at scala.collection.immutable.List.flatMap(List.scala:344)
at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:349)
at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:178)
at org.apache.spark.sql.DataFrameReader.text(DataFrameReader.scala:623)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
at py4j.Gateway.invoke(Gateway.java:280)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:214)
at java.lang.Thread.run(Thread.java:748)
  • Python SDK：

以下是我使用 SDK 访问数据的代码： 

from azure.datalake.store import core, lib, multithread    
token = lib.auth()
# output: To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code XXXX to authenticate.
# here I open the link and enter the code successfully
adl = core.AzureDLFileSystem(token, store_name='store_name')
adl.ls('/')

发生以下异常：

DatalakeRESTException: Data-lake REST exception: LISTSTATUS, .

我对修复 Spark 解决方案更感兴趣，但我们将不胜感激。

4

2 回答 2

3

要在 DSVM 上使用 ADLS 连接器，您需要做两件事：

  1. 通过编辑 /dsvm/tools/spark/ 将两个 jars，hadoop-azure-datalake-3.0.0-alpha3.jar 和 azure-data-lake-store-sdk-2.1.5.jar 添加到 spark-defaults.conf current/conf/spark-defaults.conf 并将两个 jars 添加到 spark.jars。我们默认不加载它们，因此用户可以获得更快的启动时间。
  2. 创建core-site.xml：同样在conf目录下，将core-site.xml.template复制到core-site.xml。只保留 ADLS 部分并输入您的值。

您还需要修复当前映像中损坏的符号链接：在 /dsvm/tools/spark/current/jars 中，有 azure-data-lake-store-sdk-2.0.11.jar 和 hadoop-azure-datalake- 的符号链接3.0.0-alpha2.jar。您应该删除这些并将符号链接添加到 /opt/adls-jars/hadoop-azure-datalake-3.0.0-alpha3.jar 和 /opt/adls-jars/azure-data-lake-store-sdk-2.1.5。罐。这是我们的一个错误。

于 2018-05-25T23:31:08.983 回答
1

您是否在 $SPARK_HOME/conf（必须是 /dsvm/tools/spark/current/conf）中编辑或创建 core-site.xml，并添加了您与 ADLS 访问令牌和 adl 架构链接的参考文章中指定的配置属性细节？（为方便起见，粘贴在这里）。

<configuration>
  <property>
        <name>dfs.adls.oauth2.access.token.provider.type</name>
        <value>ClientCredential</value>
  </property>

  <property>
      <name>dfs.adls.oauth2.refresh.url</name>
      <value>YOUR TOKEN ENDPOINT</value>
  </property>
  <property>
      <name>dfs.adls.oauth2.client.id</name>
      <value>YOUR CLIENT ID</value>
  </property>
  <property>
      <name>dfs.adls.oauth2.credential</name>
      <value>YOUR CLIENT SECRET</value>
  </property>
  <property>
      <name>fs.adl.impl</name>
      <value>org.apache.hadoop.fs.adl.AdlFileSystem</value>
  </property>
  <property>
      <name>fs.AbstractFileSystem.adl.impl</name>
      <value>org.apache.hadoop.fs.adl.Adl</value>
  </property>  
</configuration>

ADLS 连接 JAR 文件已预构建到 DSVM 中。

于 2018-05-19T02:16:50.193 回答