3

我对大数据很天真，我正在尝试将 kafka 连接到 spark。这是我的生产者代码

import os
import sys
import pykafka
def get_text():
    ## This block generates my required text. 
      text_as_bytes=text.encode(text)
      producer.produce(text_as_bytes)


if __name__ == "__main__":
    client = pykafka.KafkaClient("localhost:9092")
    print ("topics",client.topics)
    producer = client.topics[b'imagetext'].get_producer()

    get_text()

这是在我执行 bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic imagetext --from-beginning 时在控制台使用者上打印生成的文本

现在我希望使用 Spark 使用此文本，这是我的 Jupyter 代码

import findspark
findspark.init()
import os
from pyspark import SparkContext, SparkConf
from pyspark.streaming import StreamingContext
from pyspark.streaming.kafka import KafkaUtils
import json
os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars /spark-2.1.1-bin-hadoop2.6/spark-streaming-kafka-0-8-assembly_2.11-2.1.0.jar pyspark-shell'



conf = SparkConf().setMaster("local[2]").setAppName("Streamer")
sc = SparkContext(conf=conf)

ssc = StreamingContext(sc,5)
print('ssc =================== {} {}')

kstream = KafkaUtils.createDirectStream(ssc, topics = ['imagetext'], 
     kafkaParams = {"metadata.broker.list": 'localhost:9092'})

print('contexts =================== {} {}')
lines = kstream.map(lambda x: x[1])
lines.pprint()

ssc.start()
ssc.awaitTermination()
ssc.stop(stopGraceFully = True)

但这会在我的 Jupyter 上产生输出

Time: 2018-02-21 15:03:25
-------------------------------------------

-------------------------------------------
Time: 2018-02-21 15:03:30
-------------------------------------------

不是我的控制台消费者上的文字。请帮忙，无法找出错误。

4

2 回答 2

0

我找到了另一个解决方案。虽然放入get_text()循环的解决方案有效，但它不是正确的解决方案。在 Kafka 中发送数据时，您的数据不是连续的。因此，Spark 流不应该以这种方式获得它。

Kafka-python库提供了get(timeout)让 Kafka 等待请求的功能。

producer.send(topic,data).get(timeout=10)

由于您正在使用pykafka，我不确定它是否会起作用。尽管如此，您仍然可以尝试一次并且不要get_text()循环。

于 2018-03-01T10:45:39.190 回答
0

只需将消费者中的端口从 9092 更改为 2181，因为它是 Zookeeper。从生产者端，它必须连接到端口号为 9092 的 Kafka。从流媒体端，它必须连接到端口号为 2181 的 Zookeeper。

于 2019-08-25T14:48:05.427 回答