问题标签 [logstash-jdbc]

使用logstash，我试图提取一些表，在logstash mashine上本地转换它们，然后将结果加载到ElasticSearch。这个解决方案的原因是由于源服务器 MariaDB 上的计算能力非常有限。

• 我已经单独测试了输入{}，它可以工作，因此与 mariadb 的连接是可靠的。

• 我已经针对 microsoftSQL 服务器测试了 jdbc_static 过滤器。因此，logstash 在当前环境中具有写入权限。

• 我已经直接在 MariaDB 服务器上测试了 SQL 语法

• 我正在运行 logstash 6.8 和 java 8（java 版本“1.8.0_211”）

• 我尝试过早期版本的 mariadb jdbc 连接（mariadb-java-client-2.4.2.jar、mariadb-java-client-2.2.6-sources、mariadb-java-client-2.3.0-sources）

我的配置文件

我收到了这个错误和其他几个错误，但我怀疑修复第一个错误将修复其余错误。但关键是我的代码中没有“LIMIT 1”这个词

当我尝试使用 jdbc logstash 插件从 mysql db 获取数据时，我面临以下错误

下面是logstash配置文件

在为其他表格工作时，它会给一个特定表格带来问题

您好，在尝试使用具有多个 JDBC 输入的 logstash 创建索引时，无法在 linux 环境中创建索引 ..但它适用于 Windows。在 Windows 系统上创建的索引 ....但在 Cento-os 上创建的索引如下 %{type}

我有一个表，例如 QueryConfigTable，它在一列中保存一个查询，例如，从 customertable 中选择 *。我希望该列中的查询是在 logstash I 中作为 JDBC 的输入执行的查询

它将列查询作为值并存储到 elasticSearch

但我希望查询值，即“select * from customertable cust where cust.isdeleted !=0”作为 JDBC 输入执行到 logstash

我正在尝试使用 LogStash 将 MariaDB 中的一些表同步到 ElasticSearch。

我在 Debian Buster (10) 服务器上

我尝试了不同的连接器：

对 mariadb 连接器使用“org.mariadb.jdbc.Driver”，对 mysql 连接器使用“com.mysql.cj.jdbc.Driver”

但是，我没有同步，而是不断得到：

我正在尝试使用 logstash 将 PostgreSQL 数据库中的数据索引到弹性搜索。我在数据库中有一个 JSON 类型的列。当我运行 logstash 时，我收到一个名为“缺少转换器处理”的错误。我知道这是 java/logstash 无法识别 JSON 类型列。

我可以将列类型转换为“col_name::TEXT”，效果很好。但是，我需要该列作为弹性搜索索引中的 JSON。有什么解决方法吗？

注意：JSON 对象中的键不是固定的，它会有所不同。

需要来自 PostgreSQL 的 JSON 对象来进行弹性搜索。

我正在尝试使用 logstash jdbc 输入插件将数据从 Crate DB ( https://crate.io ) 导入到 logstash。但我收到了这个错误。

我在带有 jdbc_driver_library 参数的配置中包含了 crate DB 驱动程序。logstash 是否支持 Crate DB，有什么例子吗？

问题：Logstash JDBC + Sequel 是否会因包含方括号的列名而窒息？

如果是这样，有什么办法可以让他们玩得很好？

我在 JDBC 输入插件中使用 Logstash 7.3.0 及其捆绑的 Sequel 从 Oracle 视图中获取数据，并使用 Oracleojdbc6.jar作为驱动程序。

该视图的列名包含方括号，例如alternative[company_name].

Logstash 在摄取时崩溃，但有以下异常：

相同的查询通过 DBeaver 使用 JDBC 可以正常工作，所以我想知道 Logstash 和/或 Sequel 是否有任何特殊之处。

感激地收到帮助。

logstash.conf我已经建立了一个logstash管道，用jdbc输入和elasticsearch输出监视s的目录。

我启用.logstash_jdbc_test_last_run了，它记录了执行查询的时间：

在命令行上运行 logstash 时，我的管道成功处理了一个 logstash conf 文件：

我试图让我的应用程序通知 logstash 已完成对 logstash conf 的处理并且数据在 ES 中可用。有没有办法在查询完成后将时间戳写入文件（用作我的应用程序中的标志）？

我正在使用 Logstash 使用 jdbc 作为输入将数据发送到 Elasticsearch，该输入从 MySQL 表中获取数据。一切工作正常，但我有一个问题，每当我删除索引时，我都没有得到与该索引中相同的数据。Logstash 是否维护像 Filebeat 这样的注册表文件？

如何取回数据？有什么办法吗？

任何帮助，将不胜感激。