问题标签 [efk]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
elasticsearch - Kibana 5 分钟后显示日志 kibana
我正在使用 EFK 设置，在 Kibana 中显示日志时遇到问题。Kibana 在 Elasticsearch 和 kibana 中显示 5 分钟后的日志。我的 Fluentd 配置-
文件配置：02_apps.conf：|
我的设置 Fluentd > Elastisearch 并处理 300 tps 事务。ES-data-nodes (5) > 8核CPU和32内存
ES- 主节点和摄取节点 > 4 核 CPU 和 16 内存 请分享您的建议和意见。
elasticsearch - 无法使用 docker-compose 中的流利位将应用程序日志发送到弹性搜索
我正在尝试在 docker-compose 中使用EFK运行应用程序。应用程序将日志写入/var/log/containers目录。当我检查流利的位日志时，它有一个错误[error] [input:tail:tail.0] read error, check permissions: /var/log/containers/*.log。
看起来应用程序日志对流利的位是不可见的。
流利的位日志
码头工人撰写文件
流利的bit.conf
解析器配置文件
elasticsearch - 未能在 fluentd looging 中刷新缓冲区
我在使用 fluentd 进行 ES 日志记录期间遇到这些错误。我在 k8s 上使用 fluentd logging 进行应用程序日志记录，我们正在处理 100M（大约 400 tps）并遇到此问题。我正在使用 M6g.2xlarge（8 核和 32 RAM）AWS 实例 3 个主节点和 20 个数据节点。在 200 tps 下，在 200 得到这些问题后一切正常。Kibana 有延迟，ES 上有数据丢失。
ES 版本：7.15.0
流利版本：1.12.4
我的日志记录流程：Fluentd > ES > Kibana
错误日志：
配置文件：
c# - 从 Dotnet Core WebAPI Appsettings.json 文件中获取 EFK 节点设置
我已经为 DotNet Core WebAPI 设置了 EFK。现在，我想从 appsettings.json 文件中获取 EFK 节点信息。但是，我无法理解如何为 appsettings.json 制作 JSON。以下是我的代码：
创建 ElasticSearch 接收器：
ElasticsearchLogger 配置：
配置绑定：
应用设置.json
我无法在 appsettings.json 文件中为节点（Uri）创建 JSON。请建议。
elasticsearch - FluentD, grep 仅记录特定事件
我有日志，我只想 grep 日志并发送到 Elasticsearch，其中包含“错误 =”400 - 被 Elasticsearch 拒绝”和“无法解析字段”并忽略其他日志。
和
我的配置>>
logging - failed to write data into buffer by buffer overflow action=:block
Can someone help me about this issue https://github.com/fluent/fluentd/issues/3626
elasticsearch - EFK 系统是在 docker 上构建的，但是 fluentd 无法启动
我想通过 docker compose 构建 efk logger 系统。一切都设置好了，只有流利的有问题。
流利的 docker 容器日志
2022-02-15 02:06:11 +0000 [info]: 解析配置文件成功 path="/fluentd/etc/fluent.conf"
2022-02-15 02:06:11 +0000 [信息]: gem 'fluent-plugin-elasticsearch' 版本'5.0.3'
2022-02-15 02:06:11 +0000 [信息]：gem 'fluentd' 版本 '1.12.0'
/usr/local/lib/ruby/2.6.0/rubygems/core_ext/kernel_require.rb:54:in `require': 无法加载此类文件 -- elasticsearch/transport/transport/connections/selector (LoadError)
我的目录：
码头工人-compose.yml：
Dockerfile：
流利的.conf：
docker - 在 Docker 上搭建用于模拟日志服务器的 EFK 系统
我想模拟laravel日志记录到EFK系统服务器
基于此，我建立了两个容器。laravel 项目的容器之一。其他是EFK系统容器
但 EFK 的 fluentd 没有捕捉到任何数据或事件
我的容器的组成：
我的容器的 fluent.conf：
EFK的容器组成：
EFK的容器fluent.conf：
这是我的容器网络列表：
| 姓名 | 司机 | 范围 |
|---|---|---|
| docker-efk_default | 桥 | 当地的 |
| docker-efk_efk_network | 桥 | 当地的 |
| docker-space_default | 桥 | 当地的 |
我的理解有什么问题？
kibana - 在 Opensearch Dashboard 中配置索引级别权限时，无法在发现选项卡中看到任何数据
我已经为我的 Opensearch 配置了一些索引，并且能够使用管理员用户在“发现”选项卡中查看日志。现在，下一步是为每个用户提供索引级别的权限。
当前配置：我创建了一个具有完全集群级别访问权限的角色，并且还在全局租户（我最初创建索引的位置）上读写。对于索引许可，我提供了我的索引名称“myefk*”。此角色已附加到一个用户"user1"。
预期结果：当使用 user1 登录时，我希望在myefk索引的发现选项卡中看到所有日志。
实际结果：发现选项卡是空的，它没有显示任何内容。但是，通过使用开发工具，我可以在此特定索引中搜索日志并获得结果。
所以现在，我很困惑我的配置是否真的正确或需要任何其他权限。使用索引级别权限时，是否真的可以在发现选项卡中看到日志。