问题标签 [firelens]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
elasticsearch - 错误 io_tls flb_io_tls.c:359 NET - 连接已被对等方重置
[2020/12/10 11:44:42] [警告] net_tcp_fd_connect: getaddrinfo(host='https://abc.amazonaws.com'): 名称或服务未知 [2020/12/10 11:44:42 ] [错误] [io_tls] flb_io_tls.c:359 NET - 连接已被对等方重置 [2020/12/10 11:44:42] [警告] [引擎] 无法刷新块 '1-1607600678.900285114.flb',重试10 秒内:task_id=0, input=forward.0 > output=es.1
在将日志路由到亚马逊弹性搜索时,在使用 fluent bit 和 firelens 设置 ecs fargate 集群时在 cloudwatch 上遇到这些错误。知道如何解决这个问题吗?我正在使用以下任务定义进行设置:-
}
terraform - Fargate container_definition 字段“secretOptions”未将 datadog API_KEY 传递给 logConfiguration
我正在尝试将我的 ECS Fargate 日志发送到 Datadog。为此,我需要将我的 Datadog API_KEY 作为logConfiguration
对象中的字段传递。我需要保护我的 API_KEY,因此我通过对象的secretOptions
密钥使用 AWS Secrets Manager logConfiguration
。
我正在按照 AWS 在此处列出的步骤进行操作。Datadog 网站的完整步骤可以在这里找到
出于某种原因,我没有看到日志出现在 datadog 中。这是资源container_definitions
对象下我的 Terraform 代码的日志配置部分:aws_ecs_task_definition
如果我取出secretOptions
并以明文形式添加 apikey,则日志会显示在 datadog 控制台上:
我当然不能只以纯文本形式发送我的 API_KEY。secretOptions
只是不适用于Datadog吗?任何帮助表示赞赏。
amazon-web-services - AWS ECS Fargate,将日志发送到多个目的地(CloudWatch Logs 和 Elasticsearch)
我在 ECS Fargate 中部署了一些容器,它们将日志发送到 Cloudwatch 日志。现在,我还想将日志发送到自定义 Elasticsearch 实例(不是 Amazon Elasticsearch Service)。我已经阅读了一些关于firelens的信息,但我不清楚日志是否也会发送到 Cloudwatch 日志。此外,所有文档似乎都引用了 Amazon Elasticsearch Service,而不是自己的 Elasticsearch 实例。您对如何做到这一点有任何建议/片段吗?此外,如果我想将日志发送到第三个或第四个目的地,这样做的方法是什么?当然,以最便宜的方式,避免使用 Firehose 或 Lambda 技巧。
amazon-web-services - 如何使用 Fluentbit 禁用 JSON 格式并仅将日志消息发送到 Cloudwatch?
我正在尝试为我的 Fargate 任务设置 Firelens。我想将日志发送到多个位置,Cloudwatch 和 Elasticsearch。
但仅对于 Cloudwatch,我想禁用 JSON 格式并仅发送原样的日志消息。
我对 Cloudwatch 输出有以下配置。
目前日志是这样来的,
我只想要线,
在 CloudWatch 中。
amazon-web-services - 使用 fluent bit 截断 Elasticsearch 日志消息数据
我正在使用 AWS Firelens 将日志从 ECS 流式传输到 Elastic,如下所示,https://github.com/aws-samples/amazon-ecs-firelens-examples/tree/mainline/examples/fluent-bit/amazon-elasticsearch。
当我们发送包含在单个文档中的大量 JSON 消息时,日志字段中的消息被处理的问题。但是我注意到 Elastic 的最大文档大小是 100kb,但是当我检查我的日志大小时,它大约是 16k,但我不确定为什么要处理一些大日志。请让我知道如何在 fluent-bit 或 Elastic 上进行故障排除。
logging - ECS Fargate - 与日志驱动程序的容器任务通信
我有个问题。我将 AWS ECS Fargate 容器与 awsfirelense 日志驱动程序一起使用。按照这个例子:https ://github.com/aws-samples/amazon-ecs-firelens-examples/blob/mainline/examples/fluent-bit/s3/task-definition.json
这是我的用例,我有大约 150 个实例从不同来源收集事件。我每个实例每秒大约有 500-1000 个事件。我希望每个实例都使用 firelens/fluentbit 将此事件记录到 S3。
- 在延迟方面,我希望 firelens 容器以最有效的方式从应用程序接收日志。
- 我还想知道在将日志转发到其他来源(例如 s3)时应该考虑什么。我应该选择哪种网络模式,为什么?
- 应用程序容器如何将日志发送到 Firelens 容器?它是api请求打开套接字,它使用的是哪个协议?
感谢所有的帮助
amazon-ecs - AWS ECS Fargate 日志记录:Firelens 侧车容器方法面临问题,将应用程序容器中存在的日志文件推送到 Cloudwatch
我想将容器内特定文件夹中的日志文件推送到 Cloudwatch。为此,我尝试了 Firelens logdriver,但没有运气。
我为 fluentbit 创建了一个自定义 docker 映像,并将其部署为任务定义中的边车容器:
fluentbit.conf(我尝试exec进行调试,目的是使用tail):
这是我的 ECS Fargate 任务定义:
对于我的应用程序容器,我将日志配置作为firelens并部署了一个边车容器,如文档中所述。我在 firelens 配置中尝试了tail命令,但没有用。所以只是为了排除故障,我尝试了exec并在 firelens 容器日志中发现它给出了“找不到文件”异常。我假设它试图在自己的容器(边车)中而不是在应用程序容器中找到路径。我不确定如何让 firelens 容器访问应用程序容器。我在这里错过了什么吗?
*
amazon-kinesis - Fluent Bit Logs, Kinesis vs OpenSearch (ElasticSearch) 直接
我有带有 FireLens 和 Fluent Bit 的 Fargate 服务。我想将日志发送到 OpenSearch(或 ElasticSearch)。两个不错的选择:
- Firelens / FluentBit ->具有压缩和聚合功能的kinesis 插件-> Kinesis Data Stream -> Kinesis Firehose with Lambda,用于解压缩和解析日志 -> OpenSearch(或 ElasticSearch)。
- Firelens / FluentBit -> es 插件-> 打开搜索(或 ElasticSearch)。
第一个版本节省了网络带宽,并且可以进行自定义日志解析。
但是如果不需要自定义日志解析,我如何衡量第二种解决方案更好?
顺便说一句更好吗?