使用 spark-submit 时,我需要使用 --packages 发送依赖项。我应该使用哪个包?
我尝试制作一个包含依赖项的 uber jar,但出现以下错误:
java.lang.IllegalArgumentException: Please specify an existing file
错误是以下代码的结果:
String path = "hdfs:///user/data.txt";
SentenceIterator iter = new LineSentenceIterator(new File(path));