0

我需要使用谷歌云笔记本中的 com.databricks.spark.xml

试过：

import os
#os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages com.databricks:spark-xml_2.11:0.6.0 pyspark-shell'
os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages com.databricks:spark-xml_2.10:0.4.1 pyspark-shell'

articles_df = spark.read.format('xml'). \
    options(rootTag='articles', rowTag='article'). \
    load('gs://....-20180831.xml', schema=articles_schema)

但我得到：

java.lang.ClassNotFoundException：找不到数据源：xml。请在http://spark.apache.org/third-party-projects.xml找到包

4

0 回答 0