问题标签 [functionbeat]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
206 浏览

json - 通过 Cloud Watch 将结构良好的 JSON 数据导入 ElasticSearch

是否有已知的科学方法可以通过 Cloud Watch 将 JSON 数据记录到 Elasticsearch 实例中以及结构化的 JSON 中

也就是说——我在执行 Amazon Lambda 函数期间记录 JSON 数据。

该数据可通过 Amazon 的 Cloud Watch 服务获得。

我已经能够使用functionbeat将此数据导入弹性搜索实例,但数据以非结构化消息的形式出现。

我想要做的是获取一个索引到弹性的文档,该文档具有一个foo字段、duration_us字段、bar字段等。而不是一个具有纯文本message字段的文档。

似乎有几种不同的方法可以做到这一点,但我想知道使用弹性的默认工具是否有一个很好的路径来处理这种事情,或者我是否注定要再做一次一次性的黑客攻击。

0 投票
1 回答
696 浏览

elasticsearch - 使用 functionbeat 将 AWS cloudwatch 日志流式传输到 elasticcloud

我找不到一个好的文档来详细说明如何将数据从 AWS cloudwatch 流式传输到弹性云。我现在设置如下,但是在弹性云索引中看不到数据我在本地安装了functionbeat并更新了配置如下:

我遵循了这份文件 - https://www.elastic.co/guide/en/beats/functionbeat/current/configuration-functionbeat-options.html

然后我跑去./functionbeat deploy cloudwatch部署这个功能。我已经检查了我可以看到存储桶中的部署我在弹性云filebeat-deploy 中看不到日志my_log_group_name

0 投票
1 回答
467 浏览

aws-lambda - 在使用 SQS 触发器将 Functionbeat 部署为 AWS Lambda 时获取“无法部署。启用它”

我正在尝试从 Windows 机器将 Functionbeat 部署到 AWS Lambda,我遵循了我可以找到的文档我做了什么:

1- 从https://www.elastic.co/downloads/beats/functionbeat (Windows zip-64)下载 Functionbeat

2- 配置 AWS CLI 然后通过运行命令进行测试

3- 将 functionbeat.yml 更新为

4-运行.\functionbeat.exe -v -e -d "*" deploy functionbeat

我在控制台日志中得到的所有信息:

2021-01-21T10:37:12.883+0300 INFO instance/beat.go:645 主路径:[C:\code\project\FuncionBeatLambda\functionbeat] 配置路径:[C:\code\project\FuncionBeatLambda\functionbeat] 数据路径:[/tmp] 日志路径:[/tmp/logs]

2021-01-21T10:37:12.883+0300 DEBUG [beat] instance/beat.go:697
Beat 元数据路径:\tmp\meta.json

2021-01-21T10:37:12.885+0300 INFO 实例/beat.go:653 节拍 ID:1ea27abc-aaaa-bbbb-cccc-fd5b90949abc

2021-01-21T10:37:12.890+0300 调试 [cli-handler]
cmd/cli_handler.go:52 开始部署:functionbeat 功能:functionbeat,无法部署。启用它。

2021-01-21T10:37:12.890+0300 DEBUG [cli-handler]
cmd/cli_handler.go:62 部署执行结束 未能部署 1 个函数

这不是真的有帮助!

0 投票
0 回答
51 浏览

elasticsearch - 使用functionbeat.yml时如何提取cloudwatch日志组标签

在 functionbeat.yml 中,有一个部分称为处理器:

例如

假设我的 functionbeat 触发器来自 kinesis 数据流,并且我的 cloudwatch 日志组被标记为这个键值对“env:dev”,我该如何做这样的事情:

0 投票
1 回答
239 浏览

amazon-web-services - Functionbeat 被部署为 lambda,但状态显示未收到 cloudwatch 日志的数据

我按照本教程为 cloudwatch 日志组配置和部署了 functionbeat。我还添加了弹性搜索和 kibana 端点。这是输出

在部署functionbeat时,我也能够成功部署它

在 aws 控制台中,我看到fn-cloudwatch-logs正在创建该函数,并且我还在 s3 存储桶中看到了 cloudformation 模板。我还看到一个触发器被添加到 cloudwatch 日志组中,但是 kibana 中的 functionbeat status 说No Data is being received

功能节拍状态

我还尝试将示例日志数据提供给 lambda 函数,它最终Could not parse events from cloudwatch在 cloudwatch 中引发错误

我在配置中缺少什么吗?

0 投票
0 回答
39 浏览

amazon-web-services - 将日志从 AWS Cloudwatch 日志组发送到 Opendistro EFK

有没有办法将日志从 AWS Cloudwatch 日志组发送到 Opendistro EFK?我正在使用具有弹性搜索版本 7.10.2 的 opendistro,该版本已在 EKS 集群中使用 helm 进行配置。我尝试使用 functionbeat 7.10.2,但是一旦我尝试发送示例 cloudwatch 日志数据,它就会引发错误:

是否有与 opendistro Elasticsearch 7.10.2 兼容的 functionbeat 版本?是否有任何其他节拍可用于将日志从 AWS cloudwatch 发送到 Open distro EFK?

0 投票
0 回答
18 浏览

aws-lambda - 尚未收到来自 Functionbeat 的数据

我已经在麋鹿服务器上安装并配置了functionbeat。安装配置成功但无法在kibana上拉取日志。

请点击这里查看错误

函数beat.yml:

请求的输出 GET _cat/indices/functionbeat- *

请求 GET 函数的输出beat-*/_search?size=1

请帮我解决这个问题。提前致谢。