0

我想在 EMR 集群的所有实例/节点中使用外部 jar,以便它可以在 EMR jupyter notebook 中进一步使用。我目前正在使用以下

#!/bin/bash aws s3 cp s3://<bucket-name>/<prefix>/jars/TFSReconArtifacts-1.0-WithDependencies.jar /home/hadoop/jars/

但是在 EMR jupyter notebook 中引用相同内容时,我无法访问或在此路径中找到任何内容。(/home/hadoop/jars)

目标 我的主要目标是在 EMR jupyter notebook 中使用外部 jar,它的大小约为 300Mb。我已经尝试过更小的 jar,它可以通过在 jupyter notebook 中使用这个命令来工作,但是对于更大的 jar,它不起作用:

    %%configure
    { "conf": {
        "spark.jars":"s3://<bucketname>/jars/TFSReconArtifacts-1.0-WithDependencies.jar"
      }}
4

0 回答 0