我在 eu-west-1 区域的 2 个公共子网上设置了 MSK 集群。我有一个名为“awsuseravro1”的主题和名称为“msk-registry”的 Glue 架构注册表，架构名称与主题名称相同。我创建了一个带有自定义插件的 MSK 连接器，其中包含最新的 kafka-connect-s3 插件。我还手动复制到此插件 schema-registry-kafkaconnect-converter 1.1.5 版本的 lib 文件夹，以便 aws glue avro 转换器配置工作。我将此自定义 zip 上传到 s3，创建了一个自定义插件并启动了一个具有以下配置的连接器：
connector.class=io.confluent.connect.s3.S3SinkConnector
s3.region=eu-west-1
flush.size=1
schema.compatibility=FULL
tasks.max=2
topics=awsuseravro1
format.class=io.confluent.connect.s3.format.avro.AvroFormat
partitioner.class=io.confluent.connect.storage.partitioner.DefaultPartitioner
storage.class=io.confluent.connect.s3.storage.S3Storage
s3.bucket.name=hfs3testing
topics.dir=avrotopics1
key.converter=com.amazonaws.services.schemaregistry.kafkaconnect.AWSKafkaAvroConverter
value.converter=com.amazonaws.services.schemaregistry.kafkaconnect.AWSKafkaAvroConverter
key.converter.region=eu-west-1
value.converter.region=eu-west-1
key.converter.schemaAutoRegistrationEnabled=true
value.converter.schemaAutoRegistrationEnabled=true
key.converter.avroRecordType=GENERIC_RECORD
value.converter.avroRecordType=GENERIC_RECORD
key.converter.schemaName=awsuseravro1
value.converter.schemaName=awsuseravro1
key.converter.registry.name=msk-registry
value.converter.registry.name=msk-registry
我的 msk 集群没有身份验证，是纯文本的。连接器启动，但出现以下错误： https ://pastebin.com/zUAXgsDP
我还为连接器角色提供了所有必需的 s3 策略和对 aws 胶水注册表的完全访问权限。当我运行一些我在我的 EC2 实例上编写的使用胶水注册表的自定义生产者和消费者时，它工作得很好。当我使用带有 JSON 格式的 S3 连接器而没有带有纯文本主题的胶水注册表时，它通常会保存到存储桶中