13

我在 AWS RDS 中有数据，我想将其传输到 AWS ES 实例，最好每小时更新一次，或类似的。

在我的本地机器上，使用本地 mysql 数据库和 Elasticsearch 数据库，使用 Logstash 很容易设置它。

是否有“本机”AWS 方式来做同样的事情？还是我需要自己设置 EC2 服务器并在其上安装 Logstash？

4

2 回答 2

18

您可以使用本地 Logstash 实现相同的目标，只需将jdbc输入指向您的 RDS 数据库并将elasticsearch输出指向您的 AWS ES 实例。如果您需要定期运行它，那么是的，您需要设置一个小实例来在其上运行 Logstash。

实现相同目标的更“原生”AWS 解决方案将包括使用Amazon Kinesis和AWS Lambda。

这是一篇很好的文章，解释了如何将它们连接在一起，即：

  • 如何将 RDS 数据流式传输到 Kinesis Stream
  • 配置 Lambda 函数来处理流
  • 将数据推送到您的 AWS ES 实例
于 2017-04-29T03:42:24.103 回答
0

看看亚马逊 DMS。它通常用于数据库迁移，但是，它也支持连续数据复制。这可能会简化流程并具有成本效益。

您可以使用 AWS Database Migration Service 执行连续数据复制。连续数据复制有大量用例，包括灾难恢复实例同步、地理数据库分布和开发/测试环境同步。您可以将 DMS 用于所有受支持的数据库引擎的同构和异构数据复制。源数据库或目标数据库可以位于 AWS 之外的您自己的场所，在 Amazon EC2 实例上运行，也可以是 Amazon RDS 数据库。您可以将数据从单个数据库复制到一个或多个目标数据库，或者将多个源数据库中的数据整合并复制到一个或多个目标数据库。

https://aws.amazon.com/dms/

于 2019-07-24T12:32:09.393 回答