apache-spark - 在 Spark 中使用 Kinesis 生产者库

Question

我有 Spark 作业从 Cassandra 读取数百万条记录，过滤掉（业务规则）并写入 Kinesis 流。我没有找到任何关于如何从 Spark 调用 KPL（Kinesis Producer Library）的示例和证明。这是正确的方法吗？我还有其他选择吗？

Answer 1

您可以为每个分区创建 KPL 生产者，然后为每个分区发送消息。保持分区较小以避免任务/核心节点过载。