我正在使用 jdbc 插件从 postgresql 数据库中获取数据，它似乎对整个导出工作正常，我能够提取数据，但它不能根据保存的状态工作，每次查询所有数据并且有很多的重复项。

我检查了 .logstash_jdbc_last_run。元数据状态会根据需要进行更新，但插件仍会在每次运行时从表中导入整个数据。如果配置有问题。

任何帮助！在此先感谢，我使用下面的文档作为参考。 https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html

Oracle DB：11.2.0.4 OJDBC 版本：ojdbc6.jar JDK：openjdk 1.8 LogStash 版本：6.3.2-1 我在 logstash 错误日志 [ERROR] [logstash.inputs.jdbc] 中收到以下错误无法连接到数据库。尝试了 1 次 {:error_message=>"Java::JavaSql::SQLException: ORA-00604: 错误发生在递归 SQL 级别 1\nORA-01882: timezone region not found\n"} Logstash 代码：

我正在尝试使用logstash和jdbc mysql驱动程序将mysql表中的数据导出到弹性搜索以及docker容器中的每个进程。我的问题是（没有错误）它们没有发送到弹性搜索。

我的 Dockerfile ：

我用这个命令运行它：

这是我的 logstash.conf ：

每件事似乎都做得很好，除了它们在弹性搜索中没有新索引http://localhost:9200/_cat/indices?v

这是我运行 logstash 时的输出：

logstash 执行输出

日志存储错误 2

我在 elasticsearch 中创建了一些索引。我为每个 elaticsearch 索引创建了单独的 elasticsearch 配置文件。我正在使用 JDBC 驱动程序从两个不同的数据库表中获取数据。当我在更改其中一个索引的映射后重新启动 logstash 时，来自一个索引的字段开始出现在第二个索引上。

下面给出了两个索引的配置

这是第二个配置

一小时后接触位置索引的映射变为此，

clodura索引中的字段如何出现在联系位置索引中？请帮忙。

数据库

给定以下PostgreSQL表test（省略了一些列，例如data在管道中使用的列）：

日志存储

给定具有以下管道（jdbc_*省略）的 Logstash 6.3.2（通过 Docker）：

问题

当此管道第一次运行（或使用clean_run => true）时，我希望它处理两个数据库行（因为sql_last_valueis 1970-01-01 00:00:00.000000）并将存储的跟踪列的值设置.logstash_jdbc_last_run为2018-08-08 11:02:00.000000000 Z（=所有找到的时间戳中的最新updated_at时间戳）。它将被设置为2018-08-07 15:30:00.000000000 Z，这是两个给定时间戳中较早的一个。这意味着在第二次运行中，将再次处理两行中的另一行，即使它没有更改。

这是预期的行为吗？我是否错过了控制这方面的其他一些配置？

编辑

似乎将使用返回updated_at的最后一行的 （只是尝试了更多行）。所以我必须添加一个ORDER BY updated_at ASC我认为在数据库查询性能方面不是很好的。

日志等

我正在尝试从本地机器连接到大型机上的 DB2 数据库。我正在使用 JDBC 输入插件。似乎未加载 jdbc 驱动程序许可证文件。有人可以告诉我如何加载 db2jcc_license_cisuz-1.4.2.jar 文件。

我正在使用 logstash 版本 6.2.2

我能够使用来自其他 Java 应用程序的相同许可文件连接到 DB2。

我的配置文件如下：

日志文件：

我已logstash安排每天在3:00 A.M.. 我想要做的是每当读取索引时，我想调用Python Function我的项目中定义的Django，它将处理索引，然后更新ElasticSearch.

基本上，我每天通过获取所有事务logstash然后想要运行python script，如果获取成功然后处理事务（应用一些机器学习的东西）并将结果保存为另一个索引，Elasticsearch所以我需要帮助：

• 更新索引时从 Elasticsearch 调用 python 脚本

我正在阅读：python 脚本的 ElasticSearch 文档，但无法像 ES 新手一样获得，也无法了解如何安排它。
虽然我可以让脚本在 Django 中作为单独的线程运行，并处理 ES 数据，但我想每天或每次调用索引时从 ES 调用它。
如果我可以调用多个脚本，那将是很好的补充，因为不同的脚本处理方式不同。
关于 ES 常见问题的问题

更新

也试过：

在Logstash.conf文件的输出中，似乎没有用。我的脚本保存在此处 的 logstash 文档的输出插件中的config/scripts文件夹Script 标签中。

更新 2

还做了：

接着：

因为没有办法像弹性讨论那样只执行一次 exec

我想将数据从 LogStash 流式传输到 MS SQL Server 工作表，其架构如下：

我希望该[Data]字段包含来自 LogStash 的整个消息，序列化为 JSON 字符串，并且不想一半使用 sprintf 显式格式化它。

如何使用 JDBC 输出插件或其他插件来做到这一点？

当我使用配置文件启动 Logstash 时，会出现以下错误。我已经向当前的 jdbc jar 添加了多个类路径。驱动程序类是否已重命名？谢谢

我的配置片段：

在带有 PostgreSQL 查询的 logstash 配置文件中已经存在。用mysql添加配置文件后，一段时间后数据停止到达elastic，传出端口上的tcpdump也显示没有数据，同时向其他服务器发出请求。日志中没有错误。启用调试后，它显示配置被重新读取，仅此而已。在另一台服务器上，只有一个配置，logstash 工作正常。在什么地方可能有错误？在哪里看。请告诉我。