问题标签 [logstash-jdbc]

我一直试图在网上搜索这个，但无法获得任何线索。有没有办法我们可以将logstash执行输出打印到日志文件？例如，我正在使用 jdbc 插件按照 sql_last_start 读取数据。我想知道查询执行的时间、响应的记录数以及下一次执行的时间。

假设一个表测试有以下列 [id,name,updated_on] 代码：

我目前正在使用 logstash-jdbc-plugin 从 DB 中提取数据并将其放入 ES 中的索引。如何检查从数据库中提取的全部数据是否已插入 Elastic Search 索引。

提取的数据以百万计，因此无法继续手动检查

我正在使用 logstash jdbc 插件将数据从 db 传输到 elasticsearch。从 db 中选取数据时，列名是小写的。但我需要将列名更改为大写，并将值插入到已创建的索引中，其中字段为大写。

我尝试使用

我已经在 ES 中创建了一个具有 COLUMN1、COLUMN2、COLUMN3 的索引。但是当我运行logstash文件时，它会创建新的字段column1、column2、column3，并且不索引字段COLUMN1、COLUMN2、COLUMN3中的任何数据。

我正在使用 logstash jdbc 插件将数据从 db 插入到弹性搜索中已经创建的自定义索引。我在索引中有一些列是使用自定义分析器进行分析的。

例如，我从未分析的数据库中获取 column1。我创建了两列 column2 和 column3，在创建索引时应用了分析器。现在我希望在插入数据时将 column1 的相同数据复制到 column2 和 column3 中。

我在创建索引时使用以下模式：

数据会被插入到 column2 和 column3 中并进行分析吗？

谁能解释 add_field 做什么？

过滤器 {
变异 {
add_field => { "%{column1}" => "column2" }
}
}

mutate、clone、kv 和 grok 插件中存在的 add_field 有什么区别

我对 Oracle SQL 语句和 logstash 的自动转义字符（如 \ 和 ".

在我定义的 SQL 语句中，即：

但在弹性搜索中，它被保存为：

“收到”：“2016-01-05\T\18:46”

listagg 生成的值范围也有同样的问题：

我得到的输出是这样的：

"msgatt":"{\\\"CycloneIntegrationRegion\\\":\\\"AMIS\\\", \\\"ToSystem\\\":\\\"FW\\\", ...

我试图从案例 22534325的解决方案中获得灵感

但没有完全成功。时间戳已解析，但 msgatt 仍包含反斜杠。

"msgatt":"{\"CycloneIntegrationRegion\":\"AMIS\", \"ToSystem\":\"FW\", ...知道如何处理这个问题吗？

非常感谢， 问候， Rudo

我有 postgresql，它将一些数据存储为 json 字段，例如：

我正在使用 logstash-input-jdbc 插件来处理数据
我如何解析来自 jdbc 的 json？从日志中我看到这些字段作为 PGObject 到达：

其中有 avalue和type属性。

我尝试过使用 json 过滤器，但我不知道如何访问该value属性以提供给 json 过滤器？我试过的：

我必须在这里遗漏一些非常明显的东西？

我正在使用 Logstash jdbc 插件将 MySQL 数据导入 ElasticSearch。由于左外连接，我最终得到了单个“父行”的多个“子行”。假设 1 个用户有 1 个或多个文档。我尝试 group_concat 文档的文本，然后按用户 ID 分组以保留每个用户 1 行。

但是，MySQL 的 group_concat 的长度限制为 1024...

有谁知道完全克服 group_concat 并将左外连接作为嵌套文档处理的解决方案？

谢谢

背景： 我正在尝试将 Postgres 中的数据索引到弹性搜索中，并执行以下步骤：

第 1 步：- 使用logstash jdbc-input插件从 Postgres 批量导入数据。第 2 步：- 使用弹性搜索 REST API（用于 CRUD）从应用程序同步进一步的元数据更改。

一开始，我在弹性搜索中创建了文档映射，如下所示：-

并为 jdbc 输入插件添加了 logstash 配置：-

注意： statement_filepath => "testindex.sql" testindex.sql 有从 postgres 查询数据的 select 语句

问题： 当我尝试使用 REST API 将数据直接插入到弹性搜索中时，它可以正常工作并且文档被插入而没有任何错误。

**但是当我尝试使用上面的 logstash jdbc 插件插入文档时，它给了我以下错误。我是否缺少任何标志或配置参数？**

我正在使用 Logstash JDBC 输入插件从数据库中读取数据并将其索引到 Elastic Search 中。我为每个客户都有单独的数据库，我想动态地一一连接到它们以获取数据？

JDBC-Input Plugin 或 Logstash 中是否有任何规定或参数可以连接到多个数据库？

例如

我能想到的唯一解决方案是编写脚本来更新logstash配置以一一连接到指定的数据库并通过它运行logstash。