我知道可以将 CloudWatch Logs 数据流式传输到 Amazon Elasticsearch Service。它记录在这里，但是是否可以将日志数据流式传输到自定义 AWS Glue 作业或 EMR 作业？
问问题
35 次
1 回答
1
CloudWatch Logs (CWL) 流式传输到 ElasticSearch (ES) 的工作方式是 AWS 为您创建一个lambda 函数。所以 CWL 会先流式传输到 lambda，然后 lambda 会将日志事件上传到 ES。
对于 Glue，您不需要 lambda 函数，因为胶水可以从 kinesis 流中获取其流数据。因此，您必须设置CWL 订阅 kinesis流。该流将用作流式 Glue 作业中的源。
对于 EMR，您也可以像 Glue 一样将日志事件从 CWL 流式传输到 kinesis。但是要读取 EMR 中的流数据，您可能必须使用EMR Input Connector for Kinesis。
于 2021-03-10T04:20:33.657 回答