问题标签 [amazon-cloudwatchlogs]

我有 4 个 aws 帐户，出于安全目的，我想将所有日志集中到一个帐户中。

这意味着将来自帐户 prod、dev 和 perf 的 cloudwatch 日志收集到一个名为 logs 的帐户中。理想情况下，它们最终会出现在帐户日志中的 cloudwatch 中，因此我可以使用 ELK 轻松处理它们。

我在这里读到了它：

http://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/CrossAccountSubscriptions.html

但我找不到关于如何简单地设置整个堆栈的教程。

任何建议，将不胜感激。

是否有使用 CloudWatch 控制台过滤具有模式的日志流？

例如，我在日志组 - 日志组中有以下日志流：

'/var/prod/logs'。

日志流：

/prod/[node_instance_id]/nginx_access
/prod/[node_instance_id]/nginx_error

我有一个带有自动缩放等功能的多节点环境。所以日志流可能非常混乱 - 这是我在日志流中看到的一个示例。

/prod/1a2b3c4d5e/nginx_access
/prod/1a2b3c4d5e/nginx_error
/prod/1b2b3c4d5e/nginx_access
/prod/1b2b3c4d5e/nginx_error
/prod/1c2b3c4d5e/nginx_access
/prod/1c2b3c4d5e/nginx_error

我正在尝试将日志流过滤为仅全部为“nginx_access”。但从控制台看来，我只能指定前缀。无论如何，我可以使用“* nginx_access”之类的东西过滤日志流吗？

上个月，我从 Amazon 收到了一张价值 1,200 美元的 Cloudwatch 服务发票（特别是“AmazonCloudWatch PutLogEvents”中的 2 TB 日志数据摄取），而我原本预计会收到几十美元。我已经登录到 AWS 控制台的 Cloudwatch 部分，可以看到我的一个日志组使用了大约 2TB 的数据，但是该日志组中有数千个不同的日志流，我怎么知道哪一个使用了这个数量数据的？

我有 2 个 AWS 账户。

• 账户 A：带有来自亚马逊的 awslogs 客户端的 EC2 实例
• 账户 B：集中登录账户

我想将带有 awslogs 客户端（在账户 A 中）的 EC2 实例的日志从一个账户发送到另一个账户（账户 B）中的 CloudWatch Logs。

通过在账户 B 中创建一个 IAM 用户并在 中设置 AWS 凭证密钥，它可以正常工作awscli.conf，但我不希望密钥被硬编码，所以我试图承担如下角色：

账户 B（CloudWatch 账户）中的 IAM 角色，我创建了一个角色名称CloudWatchCrossRole：

内联策略（允许此角色将日志写入 CloudWatch Logs）：

信任政策：

在账户 A 中，我启动了一个 EC2 实例，其配置文件CLoudWatchInstanceProfile如下所示：

不高兴，日志被推送到 ACCOUNT_A 而不是 ACCOUNT_B。谁能给我提示 CloudWatch Logs 上的 AssumeRole 是否可行，或者是否必须创建 IAM 用户并将凭证硬编码在其中awscli.conf？

好的，所以我很难找到关于我正在尝试做的任何明确的资源。

目前，我正在使用 AWS CLI 将自定义日志事件发送到 Cloudwatch，并且我将日志组订阅到 ElasticSearch，以便在 Kibana 中进行监控。我正在使用 bash 脚本，并将 JSON 字符串发送到 Cloudwatch。简单的用例，最终拨打这样的电话：

为了可读性，我发送这样的 JSON：

“消息”字段中的序列化 JSON 是 ElasticSearch 订阅获取的内容，用于在 Kibana 中创建图表。这显然不是一个干净的解决方案，所以我想转向 AWS Java SDK。

我很难找到有关如何使用 AWS Java SDK 将日志发送到 Cloudwatch 的权威资源。当 Cloudwatch 文档中的全部内容都是关于“警报”时，我也很困惑——我只想像使用 CLI 一样向 Cloudwatch 发送一些 JSON。

任何指向类似用例的一些资源的指针？

我有一个使用 boto 的 put_metric_data 发布自定义 cloudwatch 指标的应用程序。该指标显示在 redis 队列中等待的任务数。

1 分钟最大值显示“3”，1 分钟最小值显示“0”，1 分钟平均值显示“1.5”。

似乎应用程序正确地将值设置为零，但其他一些进程同时用 3 覆盖它，但我找不到这个来阻止它。

是否可以查看 PutMetricData 的日志来诊断该值的来源？

AWS 文档指出，当从 CloudWatch 流式传输日志时，会向 Lambda 提供多个日志事件记录。

logEvents
实际日志数据，表示为日志事件记录数组。“id”属性是每个日志事件的唯一标识符。

CloudWatch 如何对这些日志进行分组？

时间？数数？从我的角度来看，随机？

我的管道是：

cloudwatchlogs > lambda > Elastic Search.

问题是这些日志太冗长（我对此无能为力），并且需要过滤其中的 70%，因此它们不会无用地填充我的弹性集群。

我以为我可以在 cloudwatch 日志组上应用 metrix 过滤日志，但这并没有过滤任何东西，意味着它会从 cloudwatch 中删除它们，只是绘制一些关于它的统计信息……，因此那些不需要的日志仍然出现。

当您创建订阅过滤器时，我发现的只是这个小地方：但它非常原始，我需要至少 30-40 种不同的过滤器模式，而不仅仅是一个

所以我的问题是：

我唯一不被不需要的日志打扰的方法是在我的 lambda 函数中手动过滤它们（正则表达式等）吗？一定有更简单的方法，不是吗？

谢谢

如何将自定义日志添加到 CloudWatch？默认日志已发送，但如何添加自定义日志？

我已经添加了这样的文件：（在 .ebextensions 中）

正如我所做的 bundlelogs.d 和 taillogs.d 一样，这些自定义日志现在被跟踪或从控制台或 Web 检索，这很好，但它们不会持久存在并且不会在 CloudWatch 上发送。

在 CloudWatch 中，我有像这样的默认日志
/aws/elasticbeanstalk/InstanceName/var/log/eb-activity.log
并且我想要另一个像这样的日志
/aws/elasticbeanstalk/InstanceName/var/app/current/logs/mycustomlog.log

我想创建一个 cloudwatch 警报，当特定单词“异常”出现在我的日志中时触发。我有四个不同的日志组，三个用于 lambda 程序，一个用于弹性 beanstalk 实例。

我想要一个仅触发“异常”的警报显示特定的日志组。这是否可能，或者当四个日志组中的任何一个出现“异常”时，我的警报就会触发？