elasticsearch - 将日志从 AWS 发送到 Elasticcloud

Question

我正在使用 Elasticcloud（托管弹性搜索）来索引我的应用程序数据。现在我想开始将日志从我的 AWS lambda 函数流式传输到我的 Elasticcloud 帐户。我用谷歌搜索，我可以看到有几种方法可以做到这一点：

1. 功能节拍
2. Cloudwatch-> Elasticsearch 订阅过滤器
3. Cloudwatch-> Lambda 订阅过滤器

我的问题是

• 这是将日志从 AWS cloudwatch 流式传输到 elasticcloud 的最具成本效益和性能的方式
• 对于 functionbeat，是否需要先将日志发送到 S3 存储桶？（我指的是这个https://www.elastic.co/guide/en/beats/functionbeat/current/configuration-functionbeat-options.html）

Answer 1

第一个问题：

由于在 AWS 的情况下将 Functionbeat 部署到 Lambda，因此 no.1 和 no.3 的成本相同。No.1 部署速度更快，因为您需要在 No.3 中自己创建 Lambda。

至于性能，当然取决于实现，我想这两种方法之间没有太大区别，除非毫秒延迟对您有影响。

如果您使用的是 Elastic Cloud，则不能使用与 Amazon Elasticsearch Service 配合使用的 no.2。这两个是完全不同的服务。（看到这个页面，我知道这有点令人困惑！）

---

第二个问题：

不，你不必。Functionbeat 直接从 CloudWatch 获取日志。S3 存储桶用于在部署到 Lambda 之前存储 Function beat 模块本身。