问题标签 [functionbeat]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
json - 通过 Cloud Watch 将结构良好的 JSON 数据导入 ElasticSearch
是否有已知的科学方法可以通过 Cloud Watch 将 JSON 数据记录到 Elasticsearch 实例中以及结构化的 JSON 中?
也就是说——我在执行 Amazon Lambda 函数期间记录 JSON 数据。
该数据可通过 Amazon 的 Cloud Watch 服务获得。
我已经能够使用functionbeat
将此数据导入弹性搜索实例,但数据以非结构化消息的形式出现。
我想要做的是获取一个索引到弹性的文档,该文档具有一个foo
字段、duration_us
字段、bar
字段等。而不是一个具有纯文本message
字段的文档。
似乎有几种不同的方法可以做到这一点,但我想知道使用弹性的默认工具是否有一个很好的路径来处理这种事情,或者我是否注定要再做一次一次性的黑客攻击。
elasticsearch - 使用 functionbeat 将 AWS cloudwatch 日志流式传输到 elasticcloud
我找不到一个好的文档来详细说明如何将数据从 AWS cloudwatch 流式传输到弹性云。我现在设置如下,但是在弹性云索引中看不到数据我在本地安装了functionbeat并更新了配置如下:
我遵循了这份文件 - https://www.elastic.co/guide/en/beats/functionbeat/current/configuration-functionbeat-options.html
然后我跑去./functionbeat deploy cloudwatch
部署这个功能。我已经检查了我可以看到存储桶中的部署我在弹性云filebeat-deploy
中看不到日志my_log_group_name
aws-lambda - 在使用 SQS 触发器将 Functionbeat 部署为 AWS Lambda 时获取“无法部署。启用它”
我正在尝试从 Windows 机器将 Functionbeat 部署到 AWS Lambda,我遵循了我可以找到的文档我做了什么:
1- 从https://www.elastic.co/downloads/beats/functionbeat (Windows zip-64)下载 Functionbeat
2- 配置 AWS CLI 然后通过运行命令进行测试
3- 将 functionbeat.yml 更新为
4-运行.\functionbeat.exe -v -e -d "*" deploy functionbeat
我在控制台日志中得到的所有信息:
2021-01-21T10:37:12.883+0300 INFO instance/beat.go:645 主路径:[C:\code\project\FuncionBeatLambda\functionbeat] 配置路径:[C:\code\project\FuncionBeatLambda\functionbeat] 数据路径:[/tmp] 日志路径:[/tmp/logs]
2021-01-21T10:37:12.883+0300 DEBUG [beat] instance/beat.go:697
Beat 元数据路径:\tmp\meta.json2021-01-21T10:37:12.885+0300 INFO 实例/beat.go:653 节拍 ID:1ea27abc-aaaa-bbbb-cccc-fd5b90949abc
2021-01-21T10:37:12.890+0300 调试 [cli-handler]
cmd/cli_handler.go:52 开始部署:functionbeat 功能:functionbeat,无法部署。启用它。2021-01-21T10:37:12.890+0300 DEBUG [cli-handler]
cmd/cli_handler.go:62 部署执行结束 未能部署 1 个函数
这不是真的有帮助!
elasticsearch - 使用functionbeat.yml时如何提取cloudwatch日志组标签
在 functionbeat.yml 中,有一个部分称为处理器:
例如
假设我的 functionbeat 触发器来自 kinesis 数据流,并且我的 cloudwatch 日志组被标记为这个键值对“env:dev”,我该如何做这样的事情:
amazon-web-services - Functionbeat 被部署为 lambda,但状态显示未收到 cloudwatch 日志的数据
我按照本教程为 cloudwatch 日志组配置和部署了 functionbeat。我还添加了弹性搜索和 kibana 端点。这是输出
在部署functionbeat时,我也能够成功部署它
在 aws 控制台中,我看到fn-cloudwatch-logs
正在创建该函数,并且我还在 s3 存储桶中看到了 cloudformation 模板。我还看到一个触发器被添加到 cloudwatch 日志组中,但是 kibana 中的 functionbeat status 说No Data is being received
。
我还尝试将示例日志数据提供给 lambda 函数,它最终Could not parse events from cloudwatch
在 cloudwatch 中引发错误
我在配置中缺少什么吗?
amazon-web-services - 将日志从 AWS Cloudwatch 日志组发送到 Opendistro EFK
有没有办法将日志从 AWS Cloudwatch 日志组发送到 Opendistro EFK?我正在使用具有弹性搜索版本 7.10.2 的 opendistro,该版本已在 EKS 集群中使用 helm 进行配置。我尝试使用 functionbeat 7.10.2,但是一旦我尝试发送示例 cloudwatch 日志数据,它就会引发错误:
是否有与 opendistro Elasticsearch 7.10.2 兼容的 functionbeat 版本?是否有任何其他节拍可用于将日志从 AWS cloudwatch 发送到 Open distro EFK?
aws-lambda - 尚未收到来自 Functionbeat 的数据
我已经在麋鹿服务器上安装并配置了functionbeat。安装配置成功但无法在kibana上拉取日志。
函数beat.yml:
请求的输出 GET _cat/indices/functionbeat- *
请求 GET 函数的输出beat-*/_search?size=1
请帮我解决这个问题。提前致谢。