问题标签 [amazon-cloudtrail]

我对整个 ELK 设置部分比较陌生，因此请耐心等待。

我想要做的是将存储在 S3 上的 cloudtrail 日志发送到本地托管的（我的意思是非 AWS）ELK 设置中。我没有在设置中的任何地方使用 Filebeat。我相信它不是强制使用它。Logstash 可以直接向 ES 下发数据。

1. 我在这里吗？

一旦数据在 ES 中，我只想在 Kibana 中可视化它。

到目前为止，我已经尝试过什么，因为我的 ELK 已启动并正在运行，并且设置中没有涉及 Filebeat：

使用 S3 logstash 插件

/etc/logstash/conf.d/aws_ct_s3.conf的内容

当使用上述配置启动 logstash 时，我可以看到一切正常。使用 head google chrome 插件，我可以看到文档不断被添加到指定的索引中。事实上，当我浏览它时，我也可以看到有我需要的数据。我也能在 Kibana 方面看到同样的情况。

这些 gzip 文件中的每一个都具有以下格式的数据：

我想让上面字典列表中的每一个字典成为 Kibana 中的一个单独事件。通过一些谷歌搜索，我知道我可以使用split过滤器来实现我想要的。现在我aws_ct_s3.conf看起来像：

有了这个，我实际上在 Kibana 上获得了我需要的数据。

现在的问题是

在没有过滤器的情况下，Logstash 从 S3 传送到 Elasticsearch 的文档数量以 GB 为单位，而在应用过滤器后，它仅停止在大约 5000 个文档。

我不知道我在这里做错了什么。有人可以帮忙吗？

当前配置：

java -XshowSettings:vm => Max Heap Size: 8.9 GB

elasticsearch jvm options => max and min heap size: 6GB

logstash jvm options => max and min heap size: 2GB

ES version - 6.6.0

LS version - 6.6.0

Kibana version - 6.6.0

这是当前堆使用情况的样子：

我想为我们正在使用的 api 上的每个请求创建一个日志。您能否将自定义跟踪发送到云跟踪，以便对每个请求都有一个面包屑？

我将无服务器 lambda 与云轨迹连接起来，它给了我一个“轨迹”，但不知何故，获取页面的请求没有被记录。

记录的内容是登录名（连接到 cognito）和一些事件名称为“ListFunctions20150331”和“GetTrailStatus”的东西（我也不明白，有人能解释一下这些是什么吗？ ）。

我想记录我正在使用的 api 中的每个请求。

我正在使用codebuild triggers具有cron(*/2 * * * ? *)每 2 分钟触发一次的 cron 表达式的功能来触发我的代码构建。不幸的是，当我检查时，这在 2 分钟后没有运行，cloudwatch show metrics我可以看到有一些failedinvocations. 要知道错误的原因，我启用了 cloudtrail 日志，我可以看到这样的错误

这到底是什么意思1 validation error detected: Value 'INVALID_FOR_SUMMARY' at 'stateValue' failed to satisfy constraint: Member must satisfy enum value set: [INSUFFICIENT_DATA, ALARM, OK]？

这个错误是不触发我的代码构建的原因吗？

感谢任何帮助谢谢

可以使用以下指南在 S3 存储桶上将对象记录到 Cloud 跟踪，但这是通过控制台进行的。

https://docs.aws.amazon.com/AmazonS3/latest/user-guide/enable-cloudtrail-events.html

我一直试图找出一种通过 cli 执行此操作的方法，因为我想为许多存储桶执行此操作，但运气不佳。我在我的帐户上设置了一个新的云跟踪，并希望将其映射到 s3 存储桶以进行对象记录。有这个的cli吗？

aws.cloudformation我需要为特定的 CloudFormation 堆栈创建事件类型。例如，当StackA收到UpdateStack事件时，我需要能够捕捉到该事件。

通过控制台，我能够创建以下事件规则（这是一个AWS API Call via CloudTrail类型事件）：

但是，此事件不适用于任何特定的 CloudFormation 堆栈，并且我看不到任何添加任何特定内容的选项（例如每当StackA接到UpdateStack电话。

事件类型的文档提供了其他事件类型的示例，以及我们如何添加触发事件的特定资源。例如，对于aws.codepipeline事件，您可以为 指定一个pipeline相等的值PipelineA，然后只要达到您在参数PipelineA中指定的状态，就会触发该事件。State

我怎样才能对事件类型做类似的aws.cloudformation事情？

我有一个队列，一旦我在其中发送一些消息，就会从中读取消息。我没有配置死信队列，所以如果处理发送的消息产生异常，消息应该始终存在。

我的代码是 SpringBootApplication，它监听该队列并在发送一些错误消息时产生异常。侦听是通过 JMS 侦听器完成的。

更改队列名称后，相同的消息将保留在那里，直到我手动删除它。但是在之前的队列中，它被删除了，据我所知，我发现这真的很奇怪，因为我没有在任何地方运行我的服务。

我需要找出谁正在阅读和删除我的 SQS 中的消息。（IP 地址、AWS 凭证或其他东西）有办法吗？我听说过 CloudTrail 并试图弄清楚。

AWS CloudTrail提供管理 API 调用批量日志记录，但日志非常庞大，只能查看和下载。还可以选择设置多区域或单区域的单或跨帐户“Trails”，它只能记录 a) 系统管理 API 调用，仅“读取”，仅“写入”（创建/更改）或两者; b) 对象级选定的S3存储桶（存储）API 调用和 c) 选定的Lambda（无服务器）函数 API 调用。CloudWatch Logs会暴露系统组件故障、状态变化事件等。因此前者是关于安全性的，后者是关于系统健康的，还提供指标、图表、仪表板等，包括自定义。它还允许非常舒适的日志处理和分析。这可以将Trails日志复制到CloudWatch并使用 API 获取（这是我的计划），但要复制，因为Trails始终将日志存储在S3存储桶中......在大约 5 分钟内将块压缩到具有反直觉名称的文件中目录（前缀）结构，没有人（嘿，AWS，也许是你？:D）可以改变它。此外，由于大量 i/o 和加密，这种日志存储方法的成本是托管在类似S3存储桶上的小型网站的两倍。但最重要的是，为了我的目的，这些日志很难处理：捕获创建资源的 API 调用，所以如果我找不到较低级别的方法，我必须导入CloudWatch，在那里过滤（额外费用）并导出到我的标签处理器。标记自动化无法成为低成本和低成本应用程序的一部分......所以：

1. 如何跳过S3？拒绝访问存储桶策略有帮助吗？
2. 是否可以在提供CloudWatch Log之前过滤不必要的事件？

准确地说：我只想记录可标记资源的创建以实现复杂的自动标记。也许它也可以在没有CloudWatch的情况下解决？

提前谢谢你，我对 AWS 日志记录不是很深入，而且时间紧迫

以下是我在 CloudTrail 生成的 S3 日志中收到的事件：

从我的 Mac 笔记本电脑向 AWS Cert manager 提交 AWS SDK 请求后，

但，

ifconfig在我的 MAC 笔记本电脑上不显示64.xx.xx.224

但事件日志有

"sourceIPAddress"作为"64.xx.xx.224"

sourceIPAddress这个事件说明了什么？

一位同事创建并设置了一个有效的 Cloudtrail 记录器：

现在我创建了一个存储桶，当我转到 AWS GUI 时，我可以看到“记录器”作为存储桶对象级别日志记录的一个选项。但是，当我用 terraform 为我的一生创建存储桶时，我无法弄清楚如何“找到”这个 cloudtrail，然后一旦我找到它，就把这个存储桶附加到记录器上。

我正在对我当前的 AWS 环境进行一些探索，并试图了解现有 CloudTrail 的创建方式以及所有者是谁？

我的意思是“如何” - 它是使用某些 CloudFormation 模板还是通过控制台或任何其他方式创建的。

我找不到在帐户中可以看到的任何 CloudFormation 堆栈中创建的任何 CloudTrail 资源。

有人可以建议是否有办法找到它？