我是 Spark Streaming 的新手。在 PyCharm 中使用 PySpark 我无法通过 socketTextStream 初始化。
def start_streaming (self):
sp = SparkContext('local[2]', 'streamingTest')
stream = StreamingContext(sp, 1)
**items = stream.socketTextStream('localhost', '9009')**
print(items)
lines = items.flatMap(lambda line : line.split('\n'))
我收到以下错误。关于问题是什么的任何想法？
回溯（最近一次通话最后）：文件“/Users/egorkorneev/PycharmProjects/BasicStreaming/SparkConsumer.py”，第 75 行，在 dc.start_streaming() 文件“/Users/egorkorneev/PycharmProjects/BasicStreaming/SparkConsumer.py”，行40、在start_streaming items = stream.socketTextStream('localhost', '9009') 文件“/Users/egorkorneev/rnd/spark-1.6.1-bin-hadoop2.6/python/pyspark/streaming/context.py”中，第 352 行，在 socketTextStream 返回 DStream(self._jssc.socketTextStream(hostname, port, jlevel), self, File "/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/py4j/ java_gateway.py”，第 933 行，调用中答案，self.gateway_client，self.target_id，self.name）文件“/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages/py4j/protocol.py”，第 316 行，在get_return_value format(target_id, ".", name, value)) py4j.protocol.Py4JError: 调用 o19.socketTextStream 时出错。跟踪：py4j.Py4JException：方法 socketTextStream([class java.lang.String, class java.lang.String, class org.apache.spark.storage.StorageLevel]) 在 py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine. java:335) at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:344) at py4j.Gateway.invoke(Gateway.java:252) at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133) at py4j。 commands.CallCommand.execute(CallCommand.java:79) 在 py4j.GatewayConnection。
火花 1.6.1