问题标签 [aws-msk-connect]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
mongodb - 使用 AWS MSK 连接器连接到 AWS VPC 中的 MongoDB atlas
我正在尝试使用MongoDB更改流使用Kafka. 我选择 AWS MSK 是因为我的整个基础设施都在 AWS 内，而且很容易与其他 AWS 服务集成。
我在 VPC 中创建了一个 AWS MSK 集群，并使用mongodb Kafka connector创建了一个 AWS MSK 连接。我收到以下错误（异常打开套接字，连接超时）
为了测试它是否与 VPC 有关，我通过将 0.0.0.0 列入白名单来授予公众对 MongoDB 的访问权限，然后连接器工作正常。所以我相信它与VPC有关。
我多次尝试使用带有公共子网、NAT 网关等的 VPC 的 AWS MSK，但它仍然无法正常工作。我得到同样的错误。我相信 AWS MSK 连接器使用与 AWS MSK 相同的 VPC 配置，因为 AWS MSK Connect 没有单独的配置。
apache-kafka-connect - 如何修复 msk 连接器胶水注册表超时错误？
我在 eu-west-1 区域的 2 个公共子网上设置了 MSK 集群。我有一个名为“awsuseravro1”的主题和名称为“msk-registry”的 Glue 架构注册表，架构名称与主题名称相同。我创建了一个带有自定义插件的 MSK 连接器，其中包含最新的 kafka-connect-s3 插件。我还手动复制到此插件 schema-registry-kafkaconnect-converter 1.1.5 版本的 lib 文件夹，以便 aws glue avro 转换器配置工作。我将此自定义 zip 上传到 s3，创建了一个自定义插件并启动了一个具有以下配置的连接器：
我的 msk 集群没有身份验证，是纯文本的。连接器启动，但出现以下错误： https ://pastebin.com/zUAXgsDP
我还为连接器角色提供了所有必需的 s3 策略和对 aws 胶水注册表的完全访问权限。当我运行一些我在我的 EC2 实例上编写的使用胶水注册表的自定义生产者和消费者时，它工作得很好。当我使用带有 JSON 格式的 S3 连接器而没有带有纯文本主题的胶水注册表时，它通常会保存到存储桶中
amazon-web-services - 如何在 AWS MSK Connect 上删除 Worker 和插件？
在 Amazon MSK 服务 UI 中找不到删除工作线程配置和自定义插件的方法。
amazon-web-services - AWS 托管服务无法通过 Route53 解析 DNS
我们已经定义了带有解析器出站端点的 Route53 解析器规则，它将请求转发到我们的本地 DNS 服务器，并且它在 EC2 实例中工作正常，我可以从 ssh 会话 nslookup 确认，但是，MSK Connect 连接器引用了架构注册表 URL 引发 UnknownHostException 无法解析 DNS。我检查了 MSK 的安全组出站规则，它们允许所有流量，我们的网络管理员实际上在 MSK 连接记录错误的时间看到请求的到来和响应。什么会阻碍 MSK 斯隆接收响应？
apache-kafka - AWS MSK 接收器连接器 S3 - 最接近的副本
我是 Kafka 和 AWS MSK 的新手。我创建了一些简单的生产者和消费者。由于我们试图将数据传输成本保持在最低水平，因此我们在消费者中实施了 Follower Fetching (KIP-392)，从而避免了跨 AZ 数据传输成本。哪个运作良好。
我们需要设置一个接收器连接器来将数据推送到 S3。我们希望保持较低的数据传输成本。这是我们设置的第一个接收器连接器。有没有办法指定类似于我们在消费者设置中所做的 client.rack 的东西？
使用 MSK Connect 会减轻对此的需求吗？Lenses.io 的 S3 连接器也被推荐。
apache-kafka-connect - 有没有办法使用 MSK-connect API 更新连接器配置？
我在 MSK Connect 上部署了一个 s3 连接器，在 github 上有一个带有json连接器配置文件的存储库。我想通过 MSK 的 REST API 按需更新连接器配置。我检查了API 文档，但似乎UpdateConnectorAPI 只允许修改容量配置。API 确实允许提供连接器配置，但如果连接器已经存在，CreateConnector它会返回错误。我可以删除然后重新创建连接器，但这似乎不是一个好方法。
是否有另一种方法来更新正在运行的连接器配置？