问题标签 [netflow]

我正在尝试使用 softflowd 将 netflow 数据导出到 logstash/elastic 搜索，但遇到了一些问题。尝试阅读这篇文章：https ://www.rsreese.com/parsing-netflow-using-kibana-via-logstash-to-elasticsearch/

目前，我正在运行弹性搜索，将 netflow 数据从特定接口导出到 127.0.0.1:12345 并尝试启动 logstash。

错误日志： 警告：线程“Converge PipelineAction::Create”因异常而终止（report_on_exception 为真）：LogStash::Error: 不知道如何处理 在 org/logstash/execution/ConvergeResultExt.java:135 处的Java::JavaLang::IllegalStateException创建PipelineAction::Create<main>org/logstash/execution/ConvergeResultExt.java:60 收敛状态在 /home/kalit/Desktop/Netflow/logstash-7.14.1/logstash-core/lib/logstash/agent.rb:404 [2021-09-17T00:49: 13,205][ERROR][logstash.agent] 聚合配置时发生异常 {:exception=>LogStash::Error, :message=>"Don't know how to handle Java::JavaLang::IllegalStateExceptionfor PipelineAction::Create<main>"} [2021-09-17T00:49: 13,219][FATAL][logstash.runner] 发生意外错误！{:error=>#<LogStash::Error: 不知道如何Java::JavaLang::IllegalStateException处理PipelineAction::Create<main>>, :backtrace=>["org/logstash/execution/ConvergeResultExt.java:135:in create'", "org/logstash/execution/ConvergeResultExt.java:60:in add'", "/home/kalit/Desktop/Netflow/logstash-7.14.1/logstash-core/lib/logstash/agent .rb:404:in `block in converge_state'"]} [2021-09-17T00:49:13,229][FATAL][org.logstash.Logstash ] Logstash 因错误停止处理：(SystemExit) exit org.jruby .exceptions.SystemExit: (SystemExit) 退出 org.jruby.RubyKernel.exit(org/jruby/RubyKernel.java:747) ~[jruby-complete-9.2.19.0.jar:?] at org.jruby.RubyKernel.exit (org/jruby/RubyKernel.java:710) ~[jruby-complete-9.2.19.0.jar:?] 在 home.kalit.Desktop.Netflow.logstash_minus_7_dot_14_dot_1.lib.bootstrap.environment.(/home/kalit/Desktop/ Netflow/logstash-7.14.1/lib/bootstrap/environment.rb:89) ~[?:?]

有谁知道如何修理它？或者任何人都可以分享一些使用 softflowd、logstash、弹性搜索、kibana 进行网络流分析的文章吗？

谢谢你。

我正在使用 hsflowd 来使用 sFlow 协议来衡量性能指标，但在 /var/log/syslog 中遇到错误“hsflowd[2344]: SFF8036 ethtool ioctl failed: No such device”。hsflowd 工作正常，但几乎每 23 分钟记录一次错误

任何想法？

我正在运行 filebeat 7.14.0 来摄取 Netflow 数据，然后将其存储在 Elasticsearch 中并在 Kibana 上查看。当我运行时filebeat -e，我会看到 filebeat 每 30 秒生成一些日志。日志与此页面上的内容相似，但并不完全相同。例如，我看到下面的部分

和

似乎只有received在日志中（第一行）时，我在 Kibana 上看不到任何数据，但是当有flows（第二行）时，我会在 Kibana 上看到数据。Netflow 数据肯定会持续不断地进入并可能被 filebeat 摄取，尽管我预计会下降，因为摄取速率可能高于 filebeat 可以处理的速度（~2-4Gbps）。

我想知道如何解释日志，以便更好地了解发生了什么，并计算掉率。

我在一个文件夹中有大约 3500 个 nfcapd 格式的文件的 NetFlow 数据。我需要将所有文件转换为 .csv 格式以执行数据预处理和特征提取。

我尝试使用下面的 nfdump 命令将每个 nfcapd 文件单独转换为 .csv 文件，并且成功运行。

但是，将所有 3500 多个 nfcapd 文件单独转换为 .csv 格式是一项繁琐的任务。因此，我尝试了一些使用“子进程”循环进入文件夹并将所有 nfcapd 文件转换为 .csv 文件并将其保存在另一个文件夹中的 python 脚本。我使用了下面的代码：

我得到以下输出：

在试用版中，我只尝试了 5 个文件。但是脚本不起作用。我得到空的 .csv 文件。上面的脚本有什么需要修改的吗？或者是否有其他一些包，如“Scapy”，我应该使用它来将文件夹中的多个 nfcapd 文件转换为 .csv 文件？

我要安装 NetFlow。
这是它的文档。

我的 logstash.yml 设置如下。

我已经运行了这个命令。

我有以下错误。

有解决办法吗？

我已经使用这个文档安装了 Netflow 。

但它是空的，我得到了这个错误。

没有索引匹配模式 netflow-*

我怎么解决这个问题？

我已经安装了 logstash 和 newflow，但它们已安装在索引模板选项卡中的旧索引模板中。

我在旧索引模板下看到警告消息。

旧版索引模板已被弃用，取而代之的是可组合索引模板

另外，当我要使用 netflow 时，我收到以下消息。

找不到匹配的索引：没有索引匹配模式“netflow-*”

当然，newflow-* 索引模式是空的。

我怎么解决这个问题？

有没有可能的方法？

我使用了以下文件。
https://www.elastic.co/guide/en/logstash/current/installing-logstash.html https://www.elastic.co/guide/en/logstash/current/netflow-module.html

我正在运行 filebeat 7.14.0 来摄取 Netflow 数据，然后将其存储在 Elasticsearch 中并在 Kibana 上查看。当我运行时filebeat -e，我会看到 filebeat 每 30 秒生成一些日志。

我试图更多地了解统计数据。例如，我看到

"input":{"netflow":{"flows":1234,"packets":{"dropped":2345,"received":12345}}}}

但是每个 netflow 数据包包含大约 10 个 netflow 记录，所以当我收到 12345 个数据包时，我预计会有 123450 个数据流，而统计数据仅显示 1234 个数据流。这是否意味着我错过了很多流量？