amazon-s3 - 使用 node-red 将 KSQL 流式传输到 S3 存储桶

Question

在 nodered 中，我已经能够json stream使用KSQL node. 现在我正在尝试以 json 文件的形式将该流推送到 S3 存储桶，kafka-s3-connector但我只能使用 cli 来执行此操作，而不是使用SQL and S3 node安装在 Node-Red 中。其中是否缺少其他节点，请帮助相同的？

Answer 1

我只能用 cli 做到这一点

我不熟悉 NodeRED，但您可以将 HTTP POST 请求发送到具有可用S3 连接器的 Kafka Connect 分布式服务器

curl -XPOST http://connect-server:8083/connectors \
-d '{
  "name": "sink-s3",
  "config": {
    "topics": "your_topic",
    "tasks.max": "2",

    "name": "sink-s3",
    "connector.class": "io.confluent.connect.s3.S3SinkConnector",

    "storage.class": "io.confluent.connect.s3.storage.S3Storage",
    "format.class": "io.confluent.connect.s3.format.json.JsonFormat",

    "s3.bucket.name": "example-kafka-bucket",

    "key.converter": "org.apache.kafka.connect.json.JsonConverter",
    "value.converter": "org.apache.kafka.connect.json.JsonConverter",

     "__comment": "Confluent Kafka Connect properties",
    "flush.size": "200",
    "s3.part.size": "5242880",
    "schema.generator.class": "io.confluent.connect.storage.hive.schema.DefaultSchemaGenerator",
    "partitioner.class": "io.confluent.connect.storage.partitioner.DefaultPartitioner",
    "schema.compatibility": "BACKWARD"
  }
}'