0

使用 spark-submit 时,我需要使用 --packages 发送依赖项。我应该使用哪个包?

我尝试制作一个包含依赖项的 uber jar,但出现以下错误:

java.lang.IllegalArgumentException: Please specify an existing file

错误是以下代码的结果:

String path = "hdfs:///user/data.txt";
SentenceIterator iter = new LineSentenceIterator(new File(path));
4

1 回答 1

2

Deeplearning4j 实际上有自己的 spark 版本的 word2vec。在此处查看我们的示例: https ://github.com/deeplearning4j/deeplearning4j/blob/master/deeplearning4j-scaleout/spark/dl4j-spark-nlp/src/test/java/org/deeplearning4j/spark/models/embeddings/ word2vec/Word2VecTest.java#L57

于 2016-07-28T01:27:10.190 回答