问题标签 [logstash-jdbc]

我在 Oracle 数据库和 ElasticSearch 实例中同步数据。
数据库表"SYNC_TABLE"有以下列："ID"这是一个NUMBER，"LAST_MODIFICATION"-TIMESTAMP，"TEXT"-VARCHAR2。

我将 Logstash 与 jdbc-input-plugin 一起使用，以便定期执行数据同步。

这是 Logstash 配置文件：

我想在第一次运行时导入所有数据，然后只同步上次运行和当前时间之间的差异。所以我希望 Logstash 进行以下查询：

然后定期

文档说初始值应该是 1970 年 1 月 1 日，但我在日志中看到它采用当前时间戳。这是第一个查询：

logstash 配置文件中是否有任何错误使 logstash 使用当前时间戳而不是默认时间戳（“1970 年 1 月 1 日 00:00”）？

我正在使用启用排队的logstash。

我已经设置 logstash 以在启动时通过 mysql 输入插件从 mysql 注入行。目前这是注入 1846 行。

我也有一个http输入。

当我按预期取下 ES 并重新启动 logstash 时，出现错误

logstash_1 WARN logstash.outputs.amazones - 无法刷新传出项目 {:outgoing_count=>1, :exception=>“Faraday::ConnectionFailed”, :backtrace=>nil} logstash_1 错误 logstash.outputs.amazones - 尝试发送批量对配置为...的 Elasticsearch 的请求我希望在这种情况下点击 logstash http 输入会导致 ack。

实际上 http POST 没有返回，并且在 logstash 日志中没有看到注入。

我的 logstash.yaml 看起来像

还有我的 logstash.conf

http输入是否有可能仍然确认事件，因为我很确定队列不能满，因为每个事件有效负载大约是 850 个字符？

提前致谢

我正在尝试将 Sql Server 中的数据加载到 ElasticSearch 中。我将 Logstash 与 jdbc 插件和弹性搜索插件一起使用。我在 ElasticSearch 中加载我的数据，但不知道如何设置我的索引。我正在使用模板索引来尝试这个。以下是我正在使用的，但每当我搜索时，我都没有得到任何结果。

logstash.config

index_template.json

在进行一些初步研究时，我在代码中创建了一个类似的索引。我的 index_template 不正确还是我应该这样做？

更新：我的 2 个文件之间的索引名称不匹配。我现在可以使用 Postman 和 curl 进行搜索。但是，当我尝试使用 NEST 客户端获取数据时，我永远无法取回数据。下面是查询的代码片段。

这以前适用于从文件加载的相同数据。CostCenter 只是一个对象，其成员名为 Cost_Center、CC_Acct_1、CC_Acct_2 和 CC_Acct_3。我再次确定我将问题复杂化并且遗漏了一些明显的东西。

更新二：

我已经做出了下面@RussCam 建议的更改，但仍然没有得到任何结果。下面是我更新的代码。

我注释掉了 InferMappingFor<> 因为它没有提供结果。

@RussCam 请求的映射图像。我还包括了我的成本中心类（我尝试命名成本中心的所有变体）。

我刚刚开始使用elastic search 5.5.2. 我正在使用logstash-jdbc-input插件将数据从mysql数据库推送到elastic search. 这是我正在使用的logstash配置

现在我可以使用http://localhost:9200/news/_search和以下正文进行搜索

现在这是搜索甚至我不想要的停用词，所以我尝试使用这个 POST 请求http://localhost:9200/news和请求正文来分析器

但这显示

我错过了什么吗？或者我以错误的方式得到这个？

如果问得太基本，请忽略。

我一直在尝试使用 Logstash 将数据从 MS SQL Server 导入 Elastic Search。但是，我收到了 logstash 管道和未定义的方法“close_jdbc_connection”错误。我还没有找到这个问题的确切解决方案。使用的代码和错误信息如下 -

logstash 配置 -

输出 -

注意 - 我使用的是 Windows 7，ELK 5.4.3 版本。sql 登录能够连接到 SQL 服务器。

我对logstash如何使用相同的document_id更新弹性搜索索引中的现有记录有疑问，并且它作为带有数据库（ES-LS-DB）的计划作业执行。logstash 是删除索引中的所有记录并重新插入所有记录，还是仅通过匹配文档 ID 来更新更新的记录？（此文档 ID 来自数据库）

我正在使用输入插件logstash读取postgres数据jdbc并推送到elastic

数据正常，事情似乎工作正常只是一个小问题，即

我的日志表有一个requesttimestamp数据类型为timestamp. 由于有历史数据，并且为了确保时间线是基于数据而不是运行时间，我试图设置@timestampwith的值requettimestamp。

过滤器配置如下：

{ match => ["requesttimestamp", "yyyy-MM-dd HH:mm:ss.SSS"] }

但是在运行时将其标记为_dateparsefailure并将系统时间用作@timestamp

我也尝试使用以下格式：ISO8601但似乎没有任何效果。

我确信这很简单，但无法将手指放在上面。

使用 Logstash JDBC 输入插件获取数据时出现此异常：

这可能是因为我已经在我的 JDBC 插件中使用这个参数转换了我的时区：

因此，11 月 5 日凌晨 1:30 发生了两次，我怀疑 Logstash 不知道该做什么，它陷入了无限循环。

作为一种解决方法，我删除了 jdbc_default_timezone 参数，而是在 select 语句中将我的值转换为 UTC，如下所示：

但是这种解决方法很烦人，因为我需要修改所有的 logstash 输入日期列。

有没有办法强制它选择两个可能的时间中的任何一个，或者更优雅的方式？

我想自动化使用最新数据按需更新弹性搜索的过程，其次，使用 Jenkins 作业重新创建索引以及提供数据。

我正在使用 jdbc 输入插件从 2 个不同的数据库（postgresql 和 microsoft sql）中获取数据。当按需触发 Jenkins 作业时，logstash 应该运行配置文件并执行我们希望在上面实现的任务。现在，我们还在同一台服务器 (AWS) 上运行了一个 cronjob，logstash 作业将在该服务器上按需运行。问题是，通过 Jenkins 触发的作业启动了另一个 logstash 进程以及已经在 AWS 服务器上运行 logstash 的 cron 作业。一旦按需工作完成，这将最终启动多个 logstash 进程而不终止它们。

有没有办法实现这种情况？有没有办法终止通过 Jenkins 作业运行的 logstash，或者是否有某种队列可以帮助我们按需插入数据 logstash 请求？

PS：我是 ELK 堆栈的新手

我尝试运行一个 conf 文件以在输入和输出上使用 mysql 数据库我想获得一个 json 行。但是正在发生错误。

我将错误和conf文件放在这个问题中。

配置文件

编辑

这是数据的第一行