问题标签 [amazon-cloudwatchlogs]

因此，我们将日志（apache、tomcat 等）存储在 Amazon CloudWatch Logs 中。我正在尝试使用 Logstash 从 AWS 建立索引并将它们发送到 Elasticsearch/Kibana。

我似乎找不到一个插件来完成这个。有没有人试过这个并且成功了？我不想要指标，只想要存储在 AWS Logs 中的日志。

Amazon AWS SNS 具有允许将移动推送通知的传递状态记录在 CloudWatch 中的功能。这在此处简要记录：http: //docs.aws.amazon.com/sns/latest/dg/sns-msg-status.html

我的目标是跟踪从我们系统发送的每个推送通知的交付成功。

我已按照这些说明进行操作，并且可以很好地看到日志事件。每个 SNS 应用程序端点都有自己的 CloudWatch 日志组。就我而言，我有一个 Android 和一个 iOS 端点，并且似乎有不同的成功和失败组，所以我最多有四个日志组要监控。

CloudWatch 日志组中有日志流。SNS 似乎可以创建任意的、以数字命名的日志流。我的问题是这里是否遵循任何模式，或者如果我可以控制这些流的名称甚至更好？我在文档中没有看到这一点。

例如，在向我的一小部分测试设备发送一堆消息后，我有以下日志组和流（数字是流的名称）：

我正在使用 cloudwatch 预定事件在特定时间间隔后触发我的 lambda 函数。我想使用 cloud-formation 模板在 cloudwatch 中添加此规则。我已经浏览了 cloudformation 模板文档，但我无法找到使用云形成模板配置事件的方法。谁能建议如何使用云形成模板来实现它。

我正在使用下面的模板。

使用 aws cli 验证时收到A client error (ValidationError) occurred when calling the ValidateTemplate operation: Template format error: Unrecognized resource type: AWS::CloudWatch::Event错误消息。

我知道 Kibana 4 本身没有警报和在特定条件下采取行动，但我真的很想使用 Kibana，但如果某些行为不正确，我也有一种采取自动行动或发送警报的方法。是否有任何解决方案或工具可以很好地协同工作。目前我在 AWS 中使用 cloudwatch，弹性搜索服务。是否必须在 cloudwatch 中单独设置所有警报和操作。也许我可以让 kibana 生成一些我可以采取行动的东西，比如从队列中读取 kibana 向其发送 json 警报或类似性质的东西？

我们希望使用一个 Kibana 仪表板，即一个用于我们所有微服务的弹性搜索域，现在我看到的唯一阻止的是在将云监视日志订阅到弹性搜索时，它总是创建相同格式的索引 cwl-*

当我们将云监视日志流式传输到弹性搜索时，我们如何为索引创建自定义名称？我们是否应该切换到 log stash 为索引创建自定义名称并将其流式传输到亚马逊弹性搜索？

我曾想过创建一个自定义 Nlog 目标以将日志发送到 CloudWatch Logs，这看起来很简单，但是当我在本地运行测试时，我收到以下错误 - “WebException：无法解析远程名称：'logs.eu-west .amazonaws.com'"

我可以将日志从在 EC2 外部运行的应用程序发送到 CloudWatch Logs 吗？

我正在尝试找到集中式解决方案来将我的应用程序日志从数据库 (RDS) 中移出。

我正在考虑使用 CloudWatchLog，但注意到 PutLogEvents 请求有限制：

PutLogEvents 请求的最大速率是每个日志流每秒 5 个请求。

即使我将我的日志分成许多流（基于 EC2，日志类型 - 错误、信息、警告、调试），5 req 的限制。每秒对于活动应用程序仍然非常有限。

另一种解决方案是以某种方式累积日志并发送带有日志记录批处理的 PutLogEvents，但这意味着我不得不使用数据库来累积这些记录。

所以问题是：

1. 可能是我错了，限制为 5 req。每秒不是那么限制吗？
2. 还有其他我应该考虑的解决方案吗，例如 DynamoDB？

我正在使用 CloudFormation 创建一个堆栈。创建日志组时，它会自动为我的日志组名称添加前缀和后缀。例如，如果我尝试创建日志组MyLogGroup，它会创建日志组my-stack-name-MyLogGroup-EEWJYSCJRK2V。

我知道对于很多用例，这可能需要区分不同堆栈的相同资源。但是，我的团队对我们不同的堆栈有不同的帐户，因此不会有重叠。具有动态前缀和后缀使得很难从静态文件（即 CloudWatch Logs 代理配置文件）中引用日志组。

有没有办法确保资​​源的命名与我输入的完全一致，而不是添加前缀或后缀？

I've been doing some Amazon AWS tinkering for a project that pulls in a decent amount of data. The majority of the services have been super cheap, however, log storage for Cloud Watch is dominating the bill, cloud watch log storage is $13 of the total $18 bill. I'm already deleting logs as I go.

How do I get rid of the logs from storage (removing the groups from the console doesn't seem to be doing it) or lower the cost of the logs (this post indicated it should be $0.03/GB which mine is more than that) or something else?

What strategies are people using?

我只是按照这些说明（链接）在我的 EC2 实例上安装了 AWS CloudWatch。

1. 我更新了我的存储库：sudo yum update -y
2. 我安装了 awslogs 包： sudo yum install -y awslogs
3. 我编辑了 /etc/awslogs/awscli.conf，在 EC2 页面上确认我的 AZ 是 us-west-2b
4. 我保留了 /etc/awslogs/awslogs.conf 文件的默认配置，确认默认路径确实有写入日志

5. 我检查了 /var/log/awslogs.log 文件，它反复显示错误：EndpointConnectionError：无法连接到端点 URL：“ https://logs.us-west-2b.amazonaws.com/ ”

   • 我没有按预期在 CloudWatch 控制台中看到任何新创建的日志组和日志流。我在这里想念什么？

我应该指向https://logs.us-west-2b.amazonaws.com/以外的其他端点吗？如果是这样，那是在哪里配置的？

提前致谢，

格雷厄姆