问题标签 [logstash-file]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
docker - 如何配置索引模式？
我有一个使用多个 docker 映像登录到 syslog-ng 的系统。Syslog-ng 配置为将来自其他容器的所有流写入文件。这部分运作良好，我得到这样的日志：
然后我尝试配置那个图像：
https://hub.docker.com/r/willdurand/elk/
我映射了日志路径并为logstash设置了这个配置：
然后我启动镜像，进入 Kibana 4 界面。我尝试了以下模式：
YYYY.MM.DD 和 YYYY-MM-DD 但我永远无法创建索引以开始使用 Kibana。
我对索引模式做错了什么？或者我错过了一些 docker 镜像配置？
logstash - 将 Logstash 配置为在解析文件之前等待
我想知道您是否可以通过以下方式配置logstash：
背景资料：
每天我都会收到一个 xml 文件推送到我的服务器，应该对其进行解析。
为了指示之后的完整文件传输，我将一个空的 .ctl（自定义文件）传输到同一文件夹。
这两个文件都具有以下名称架构'feedback_{year}{yearday}_UTC{hoursminutesseconds}_51.{extention}'（例如feedback_16002_UTC235953_51.xml）。因此它们具有相同的文件名，但一个是 .xml，另一个是 .ctl 文件。
问题：
有没有办法配置logstash等待解析xml文件，直到相应的.ctl文件出现？
编辑：有没有办法用filebeat来存档？
EDIT2：如果更容易的话，能够以一种在开始处理新文件之前等待 x 分钟的方式配置 logstash 也足够了。
感谢您提前提供任何帮助
elasticsearch - 如何告诉 Elasticsearch 从文件的第一行获取列名？
我刚开始使用 Elasticsearch/logstash。
我有 3 个具有共同 id 的不同文件。每个文件的第一行包含列名，例如：
如何告诉 Elasticsearch 将第一行作为列名？
另外，我如何使用文件之间的公共 id 对 Elastic 进行一些研究，例如q:column=data group by id？
elasticsearch - logstash if field exists then grok
I'm trying to create a filter for logstash that will have "general" grok filter for all logs and if some field exists, then I want it to perform a different grok.
The first grok I'm using is
This is working great. But I want this to be able to filter even more if the "name" field is i.e "foo"
I tried this option but it didn't work. Any thoughts?
logstash - Logstash 将字段与数字进行比较
我正在寻找一种将 Logstash 字段与条件语句中的数字进行比较的方法，但在文档中找不到任何内容。
例如这样的事情：
或者
谢谢。
logstash - Logstash 不读取文件输入，不打印到控制台
Logstash 的新手。我正在尝试读取一个简单的输入并将其输出到命令窗口。
Logstash 版本：2.2.2
下面是我的 .conf 文件
下面是我的logstash-test-data.log
这是我在 --debug 和 --verbose 之后得到的输出
然后什么也没有发生。我希望日志显示在终端上。
编辑：这些是我的文件权限
logstash - Logstash csv 过滤器根据时间戳创建索引名称
我想根据日志文件中匹配的日期创建 ES 索引。我正在使用 logstash CSV 过滤器来处理日志。例如，日志数据如下所示
下面是logstash配置文件。显然，索引将创建为 testlog，但是，鉴于 YYYY.mm.dd 是索引日期的 logstash 首选格式，我希望将索引创建为 testlog-2016.02.21 和 testlog-2016.02.22。我已经用 grok 过滤器做到了这一点，我正在尝试用 csv 实现相同的效果，但这似乎不起作用。
我们在 Logstash 2.1.0、ES 2.1.0 和 Kibana 4.3.0 版本上
任何输入表示赞赏
logstash - 我怎样才能找到我生成的文件logstash？
我是 ELK 堆栈的初学者，所以我配置了 logstash，当我想用 ElasticSearch 搜索时，我没有结果，所以我应该得到结果，因为我在 grokdebug 上进行了解析，效果很好。我的研究如下：
" http://localhost:9200/logstash-2016.03.14/_search?q= *"
我想知道是否可以看到生成的 logstash 文件以及它是否生成了结果？
知道我尝试在 JSON 文件上搜索弹性搜索并且它有效。
问题出在 logstash 。
谢谢
regex - 如何在logstash文件输入路径中包含正则表达式
我正在使用 logstash 将 tomcat 访问日志转换为 json 格式。访问日志名称采用以下格式
输入过滤器是：
它没有显示使用正则表达式的日志。我应该在这里使用什么正则表达式来仅选择这些文件？