python - python KCL连接到kinesis流时出现异常

Question

我正在尝试将 kinesis 集成到火花流中，为此我正在使用 python 和 KCL。从 kinesis 阅读时，我大多数时候都会遇到这个异常

“utf8”编解码器无法解码位置 940 中的字节 0xf1：无效的继续字节

有人可以让我知道我该如何解决这个问题这就是我创建流的方式

kinesisStream = KinesisUtils.createStream(ssc, APPLICATION_NAME, STREAM_NAME, ENDPOINT, REGION_NAME, INITIAL_POS, CHECKPOINT_INTERVAL, awsAccessKeyId =AWSACCESSID, awsSecretKey=AWSSECRETKEY) 

Answer 1

您应该检查以确保进入流的数据是 UTF-8。

尝试将 Latin-1 (ISO-8859-1) 解码为 UTF-8 可能是导致此类错误的原因之一。