我使用此处找到的过程将我的 Cloudwatch 日志导出到 S3：
http://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/S3ExportTasks.html
现在我在 S3 中有大量较小的 Cloudwatch 日志文件。有没有一种工具可以用来一次性解析/搜索它们？我正在考虑类似用于从 Cloudwatch 下载它们的awslogs工具，但找不到任何东西。
问问题
922 次
2 回答
1
只要它们在 S3 中，您就不能对它们做太多事情。您也许可以使用Athena来查询它们，但我不确定它们的格式是否正确。
您可以启动Elastic MapReduce集群来解析日志文件。您可以通过 EMR 运行查询，或者可能使用 EMR 将数据插入到Elasticsearch或Redshift中，然后您可以在其中查询数据。
如果您只想通过这些文件进行grep样式搜索，您需要首先下载所有文件，以便它们位于运行该grep工具的计算机的本地。
于 2017-02-03T00:12:12.093 回答
1
我需要手动 grep 通过日志文件，并找到了一种方法来做到这一点：
- 从 S3 递归下载日志文件到本地目录：
aws s3 cp --recursive s3://<bucket name>/<bucket subdir>/ ./
- 我的 Cloudwatch 日志组中的不同流来自具有不同时间戳格式的不同应用程序，因此请找出我想要递归使用的
zgrep -r. - 我的日志文件行如下所示：
api-api-0f73ed57-e0fc-4e69-a932-4ee16e28a9e6/000002.gz:2017-02-02T22:48:49.135Z [2017-02-02 22:48:49] Main.DEBUG: Router threshold 99.97 [] {"ip":"10.120.4.27"}
- 所以使用
sort -sk<key 1>,<key 2>对第二个和第三个空格分隔的字段（[2017-02-02和22:48:49]）进行排序 - 这给了我以下命令：
zgrep -r api-api logfile* | grep "Main.DEBUG" | sort -sk2,3
感谢以下问题的提示sort。
于 2017-02-03T11:52:10.680 回答