设想

来自 windows 的名为 test_csv.csv 的 CSV 数据。将 CSV 数据摄取到 hdfs。Beats > (ListenBeats) NiFi (PutHDFS) > HDFS

数据样本：

根据 Nifi Flow UI，它工作正常并成功写入 hdfs。问题是

我试图将PutHDFS目录更改为 /user/nifi/test.csv 它返回

是否可以让 nifi 在单个目录文件中写入 hdfs？我期待它将在 hdfs 中创建 test.csv 文件

谢谢

我正在做的 atm 是：我必须从服务器获取 XML 文件。此 XML 包含许多日志，每个日志都被解析并转换为一个事件，一个beat.event. 我想要的是，将所有日志发送到elasticsearch，或者不发送。我可以举办一个大型活动并立即发布所有内容吗？或者做一个队列来存储所有需要发送的事件，这样如果一个事件发送失败，事务就结束，elasticsearch回滚？

这里的词是交易。我想发布全部或全部内容。有没有办法做到这一点？

我的代码如下：

我正在编写一个 kibana 插件和一个 logstash 管道。对于我的测试，我只是写了一个这样的logstash输入：

但是当我尝试打开与节点的连接时（上面的代码）：

logstash 给我“beats 协议的无效版本：22”和“beats 协议的无效版本：3”：

我有将数据发送到 logstash 的 Elastic Beats（如 metricbeat 和 auditbeat）。出于测试目的，我想模拟一些从节拍到 logstash 输入的数据。

我在beats（yaml配置文件）中使用logstash输出插件：

和 logstash 中的 beats 输入插件（.conf 管道配置文件）：

我天真地假设beats通过HTTP请求与logstash通信，所以我使用Postman向logstash发出POST请求，但我得到了一个InvalidFrameProtocolException： logstash中beats协议的无效版本错误。

我试图用wireshark检查数据包以查看原始数据包的格式，但我只能看到TCP数据包，没有HTTP协议。我想这些插件不通过 HTTP 请求进行通信。

有更多专业知识的人可以对此发表评论吗？有没有办法通过邮递员模拟节拍输出数据到logstash？

我无法在 Elastic Cloud 的 filebeats 中连接 MySQL。我没有得到任何错误。

谁能指导我怎么做？

我正在使用的这个配置

我已经成功让 Filebeat 以纯文本模式将日志导出到 MSK。当尝试通过 SSL 执行相同操作时，我从 Filebeat 端收到错误消息

Publish failed with circuit breaker is open

MSK Cloudwatch 日志中的 SSL 握手错误。

我不需要双向验证，所以我假设我只需要从 MSK 控制台传递 Filebeat ACM-PCA 但是我仍然收到 SSL 握手问题。

任何人都可以提供输出到 MSK 的示例 Filebeat 配置。

想要一起部署具有 3 个日志定义的 filebeat。发送到不同的输出目标。

logs1 的配置图

logs2 的配置图

logs3 的配置图

当每个日志文件发生变化时，每次只发送到第三个logs3的输出logstash-logs3.default.svc.cluster.local:5044。但是可以获取所有三个logs1.json/logs2.json/logs3.json文件的数据。

在这种情况下，filebeat 不能在一台机器上使用多个输出吗？

我想使用 ELK 来分析和可视化我们的 GxP 日志，由我们的 Stoneold LIMS 系统创建。至少系统在 SLES 上运行，但整个日志记录结构有些混乱。

我试着给你一个印象：

重要提示：我需要跟踪的每次体检都完全记录在代表订单输入日期的 gpDD.log 文件中。完整检查的持续时间在几分钟（如果没有可用材料）、几个小时或几天（例如，对于 Covid-19 检查为 48 小时）甚至几周（对于微生物样本）不等。示例：即使在 1 月 4 日进行了检查并且在 1 月 5 日完成了报告的验证/创建，12 月 30 日到达我们的有关 Covid-19 样本的所有信息都记录在 ../gp2012/gp30.log 中。

您能否为我提供一些正确使用节拍的指导（我猜是 logbeat 或 filebeat）以及如何实现日志传输？

我正在尝试从 Windows 机器将 Functionbeat 部署到 AWS Lambda，我遵循了我可以找到的文档我做了什么：

1- 从https://www.elastic.co/downloads/beats/functionbeat (Windows zip-64)下载 Functionbeat

2- 配置 AWS CLI 然后通过运行命令进行测试

3- 将 functionbeat.yml 更新为

4-运行.\functionbeat.exe -v -e -d "*" deploy functionbeat

我在控制台日志中得到的所有信息：

2021-01-21T10:37:12.883+0300 INFO instance/beat.go:645 主路径：[C:\code\project\FuncionBeatLambda\functionbeat] 配置路径：[C:\code\project\FuncionBeatLambda\functionbeat] 数据路径：[/tmp] 日志路径：[/tmp/logs]

2021-01-21T10:37:12.883+0300 DEBUG [beat] instance/beat.go:697
Beat 元数据路径：\tmp\meta.json

2021-01-21T10:37:12.885+0300 INFO 实例/beat.go:653 节拍 ID：1ea27abc-aaaa-bbbb-cccc-fd5b90949abc

2021-01-21T10:37:12.890+0300 调试 [cli-handler]
cmd/cli_handler.go:52 开始部署：functionbeat 功能：functionbeat，无法部署。启用它。

2021-01-21T10:37:12.890+0300 DEBUG [cli-handler]
cmd/cli_handler.go:62 部署执行结束 未能部署 1 个函数

这不是真的有帮助！

我有以下使用 Filebeats 摄取的文档：

当我这样做decode_json_fields然后将生成的有效负载推送到 ElasticSearch 时，它会引发有关Value字段类型的错误。我无法控制来自 REST API 的结果 json，我想知道我是否可以Value使用convert处理器将所有字符串类型转换为字符串。我有以下示例 filebeats.yml 文件

如果我要转换的字段位于对象数组中，则此配置似乎不起作用。我找不到任何文档如何做到这一点。