问题标签 [logstash-jdbc]

我想从这个存储库构建 Docker-ELK 。

这是我的 logstash.conf 文件

我用 docker-compose 运行 docker。Kibana 和 ElasticSearch 启动成功但 Logstash 抛出错误

我写路径 ...bin.jar 但从文件名中删除 .jar 时出错。我写 ..bin.jar.jar 错误代码是 ..bin.jar 但找不到文件。

请帮我

谢谢

我正在使用 ELK 堆栈，其中我在 logstash 中使用了 jdbc 输入，
我创建了 2 个索引

1. 用户
2. 雇员

两个索引都有一个相同的列objid
Logstash 配置文件

第一个输入 jdbc 'employees' 包含26935记录

第二个输入 jdbc 'users' 包含10619记录

公共记录：9635（objid 匹配）

第一个问题是，当我在 kibana 中创建索引模式时

用户

它显示计数37554，为什么？它应该只显示10619

第二个问题：当我将索引模式创建为'

雇员

它显示计数27919，为什么？它应该只显示26935

我还为索引“用户”创建了不同的文档 ID %{objid}%{login_name}

后台环境：logstash使用microsoft jdbc驱动连接sql server，集成安全。

当 jruby 在 'parse' 方法中到达 PsychParser.java 时，它会抛出一个错误：

直到上周它都可以正常工作，然后突然停止工作并显示该错误。

TNX 为您提供帮助。

我在配置 logstash 时遇到问题。我希望能够为 mongodb 输入 jdbc。

我的配置：

问题是 ：

:error=>"Java::JavaSql::SQLException: 找不到适合 jdbc:mongodb://localhost:27017/ 的驱动程序"}

我正在使用带有 JDBC 驱动程序的 logstash 将一堆数据从 SQL Server 批量导入到 Elasticsearch。（最终目标是让这些数据可以从 Web 前端进行搜索。）

表格列之一包含 HTML 标记（<span id='blah'>、、<p class='foo'>等）。我希望内容是可搜索的，但要忽略标签。也就是说，如果有人搜索单词“foo”，则<p class='foo'>不应出现包含的文档。另一方面，我确实希望将包括标记在内的全部内容存储在 Elasticsearch 中。

我可以在我的 logstash.config文件中做些什么来让 Elasticsearch “意识到”这是 HTML 内容吗？

我使用 logstash 从数据库（在本例中为 Postgres）中索引数据并将其放入 Elasticsearch 索引中。这是我的配置：

问题：如何为我的 SQL 查询定义映射，以便例如标题 + 描述被索引为文本，但用户被索引为关键字数据类型？

我有两个配置文件分别指向数据库的不同表，但是在elasticsearch中，我将两个表合并，因此tablea和tableb项目将全部复制为typea，tablea和tableb项目将全部复制为typeb。

但我将其配置为将 tablea 作为 typea 并将 tableb 作为 typeb。

这是我的配置文件a

这是我的配置文件

有人有想法吗？感谢您的任何回复/帮助

我想使用logstash将数据从我的MySQL数据库导入elasticsearch。我已经能够导入自定义查询结果，但是我错过了可以定义由 logstash 创建的索引的映射/设置的点。另外，我不知道如何导入具有一对多关系的数据。

到目前为止，这是我的 logstash.conf：

注意：我想使用 logstash 只是将数据导入到 elasticsearch。这是一个网上商店，所以我必须在现场使用一些分析仪

我正在使用 Logstash JDBC 输入插件为 Elasticsearch 索引我的 PostgreSQL 数据。我有两个表调用REQUEST并ASSIGNMENT在下面列出。

如何使用 Logstash 将这两个表索引到一个 Elasticsearch 类型的文档中，REQUEST其中包含所有子ASSIGNMENT记录的嵌套数组？

这就是我希望我的 Elasticsearch 文档看起来的样子。它是_source搜索结果值的样本：

在这里大声呼救，当我尝试使用 logstash 将 MySQL 值转换为嵌套的 elasticsearch 字段时，出现以下错误。

使用以下配置文件：

但是，如果我将 address_count 重命名为不在我的映射中的字段，那么它工作得很好，并且它正确地将值添加为嵌套属性，我已经尝试过索引中的其他字段，而不仅仅是 answers.payloads.address_count 和我遇到了同样的问题，它仅在映射中未定义该字段时才有效。

这让我有些头疼，如果有人能帮助我解决这个问题，我将不胜感激，因为我在过去的 48 小时里一直把头撞在桌子上！

我最初假设我可以使用 MySQL 查询执行以下操作：

然后我也尝试了

两者都未能使用后一个选项插入值，从而导致字段不能包含点的错误。

最后是映射：

感谢 Val - 以及与我一样需要使用 logstash 将 MySQL 数据转换为嵌套 Elasticsearch 对象的未来用户，这是一个使用 Logstash 5 和 Elasticsearch 2 的工作解决方案。*