问题标签 [aws-cloudwatch-log-insights]

是否可以使用 aws cloud watch logs 洞察在匹配正则表达式的消息之前显示 n 条消息。我必须对多个日志事件进行过滤。示例日志消息序列：

我在 CloudWatch 中有我的 Android 应用程序的日志。正在跟踪的一个事件正在提供这样的数据。

使用“count_distinct”时，计数为 242，而使用“count”时，计数为 243。因此存在一个重复条目。

我也有 id 字段。我想它可能会重复。我怎样才能过滤掉它？

我正在尝试添加一个可以为 null 或数组的 json 字段。

示例日志是；

目前我可以编写一个 grok 模式，如果属性 2 是数组，它可以提取

有没有办法我也可以在这里提取 null ？

操作系统有没有办法将 @message 转换为 json 对象？

考虑到我的日志中有许多带有时间测量的属性。我想计算它们每个比我的超时限制大多少次，例如 10 秒。

我目前能够多次运行非常相似的查询，如下所示：

.. 每个属性一个查询

如果我们可以在同一个查询中提取所有这些指标，那么绘图会更好也更容易。为此，所缺少的只是一些三元运算符或类似的东西。

我希望这样的事情会起作用：

但这没有用。“如果”函数不存在。

那么，有什么办法可以制作三元if呢？

我正在使用 lambda 函数，该函数在将新文件添加到 S3 存储桶时触发。Lambda 函数转换文件的内容并将其放置在另一个 S3 存储桶中。

1. 当新文件“emp.json”添加到 S3 存储桶中的“sourcebucket/test”文件夹时，会在 cloudwatch 日志中创建一个新的日志流，并将该文件添加到“targetbucket/emp”文件夹。这是预期的。

2. 当我在 5 分钟之前将另一个文件“emp1.json”添加到 S3 存储桶中的“sourcebucket/test”文件夹时，日志会附加相同的日志流，并且现有文件会在“targetbucket/emp”文件夹中被替换。而不是将日志附加到现有的日志流，我们可以创建一个新的日志流吗？

3. 当我在 5 分钟后将另一个文件“emp2.​​json”添加到 S3 存储桶中的“sourcebucket/test”文件夹时，会在 cloudwatch 日志中创建一个新的日志流并将该文件添加到“targetbucket/emp”文件夹。这是也工作正常

问题是只有当我在不到 5 分钟的时间内将新文件添加到同一个文件夹时，它才会覆盖或替换现有文件。我是 AWS lambda 的新手。让我知道这是否可以修复。

所以

我将 awsService.log 日志发送到 CloudWatch，我想创建一个指标过滤器来提取错误值。

例子：

06/13/2020 07:35:33 : 578 : 3 : error occurs

05/13/2020 07:35:33 : 3 : 3 : error occurs

我想提取的错误值是：3

我尝试了许多正则表达式，* : * : 3 :但它不起作用。

任何帮助，将不胜感激。

我想问一下如何为不同的环境最好地组织 AWS CloudWatch日志组，例如

• 开发者
• 分期
• 产品

对于存在 50 个微服务的微服务架构，每个微服务都包含自己的上下文（例如支付、目录、运输等）

我能想到的用于组织独特和不同日志组的变体是：

1. 每个微服务每个环境的日志组（当环境数量为 3 且应用程序为 50 时，总共150个）
2. 所有微服务的每个环境的日志组（当环境数量为3时，总共 3 个）

还有其他推荐的组织日志组的方法吗？在这两个或任何其他之间做出决定时，我应该考虑整个系统的哪些类型的属性？

我做＃1的权衡是我将有一些安静的日志组需要维护，尽管已经根据应用程序上下文进行了预过滤。

我做#2 的好处是减少了整体维护的日志组，也许是在每个环境中获取日志的单一体验？

我有这样的日志：

因此，正如您在消息中看到的那样，它始终遵循以下模式： Completed [THE ERROR CODE] [ERROR MESSAGE] ...

我正在使用此查询来检索具有某些错误代码的日志：

但是如何解析消息以获取错误代码和消息的单独字段？

当我fields @timestamp在 Cloudwatch “日志洞察”查询中使用时，它会在结果表中添加一列，该列格式化为我的本地时区，例如2020-07-01T05:52:15.840+10:00.

我不希望它进行本地时区转换，我希望该列以 UTC 时区显示。

如何告诉“日志见解”以 UTC 时区显示日期？

例如，@timestamp 字段虽然很长，但始终显示为日期。我可以将它转换/显示为 long/int 吗？