问题标签 [logstash-jdbc]

是否有任何插件可以使用 LogStash 输入 MongoDB 以将数据存储在 ElasticSearch 中。

elasticsearch 网站中没有可用的搜索插件。 https://www.elastic.co/guide/en/logstash/current/input-plugins.html

如何将多维 SQL json 字符串转换为有效的 JSON 对象，以便它可以映射到 Elasticsearch 索引模板字段类型。

示例案例：

假设这是我的 Elasticsearch 索引模板。

有问题的案例是“员工”数组，它是内部“地址”数组 JSON 转换。

“员工”的示例 SQL 数据：

Logstash 过滤器配置：如果“员工”不包含嵌套数组，则转换有效。但是当我数组有嵌套数组时问题就来了。

问题是如何将“员工”列嵌套的“地址”数组转换为 JSON 对象，以便我可以将其映射到 Elasticsearch 索引模板。

我有一个简单的logstash配置：

输入部分可以很好地从数据库中读取值。但是，当它尝试输出到另一个数据库时，我收到以下错误：

我正在使用 logstash 6.5、sqljdbc 4.2 和 OpenJDK (Amazon Corretto 8.2 JRE)

当我将输出配置更改为输出到文件或控制台时，它工作正常。

任何帮助将不胜感激。

假设我们有 2 张桌子

1) 客户（CustID、姓名）

2) 采购（Cust_ID、Purchase_ID）

(1) 和 (2) 之间存在一对多 (1:n) 关系。

现在使用 logstash 我想将这些数据从 sql 插入到 elasticsearch 中。问题是，如果我连接两个表，那么它将为单个客户插入多行/json 记录。我希望按如下方式插入数据。

但它是

我发现链接https://www.elastic.co/guide/en/elasticsearch/reference/current/array.html很有用。但这并不能解决我的问题。

我有一个 Logstash 的基本 HA 设置——两个不同的 AWS 可用区中有两个相同的节点。每个节点都运行一个管道，该管道从数据库集群中提取数据集，然后将其输出到下游的 ELasticSearch 集群以进行索引。这适用于一个 Logstash 节点，但两个并行运行的节点将相同的数据两次发送到 ES 以进行索引，因为每个节点都是:sql_last_value单独跟踪的。由于我在两个节点上使用与文档 ID 相同的 ID，因此所有重复的数据都会被简单地更新，而不是被插入两次。换句话说，每个数据集有 1 次插入和 1 次更新。显然，这不是很有效，并且会给 ELK 资源带来不必要的负担。随着额外 Logstash 节点的添加，情况变得更糟。

有谁知道应该如何设置并行 Logstash 节点的更好方法，因此如果每个节点已经被另一个先前的节点提取，则每个节点不会提取相同的数据集？一个穷人的解决方案可能是在 Logstash 节点之间创建一个共享的 NFS 文件夹，并让每个节点都:sql_last_value在那里写入，但我不确定使用此设置可能会遇到什么样的副作用，尤其是在较高负载下。谢谢！

我是 logstash 的新手，我正在尝试将数据库中两列的值相加并生成一个新指标。

我已经用尽了所有的选择。

这是我的 conf 文件。我正在创建的新变量是“tod_ped”，我创建了另一个变量以尝试了解“TOT_PROD”的值发生了什么，该变量是“valor”。

我试图求和的两个列是“TOT_PROD”和“TOT_SERV”。

这是logstash的返回码。我注意到的是变量“tot_ped”没有添加值，而测试变量将“TOT_PROD”的值返回为零。

谢谢先进。

如果我尝试使用 Logstash 摄取该表的增量数据，我想知道 Elasticsearch 是否对我的 Oracle 表执行全表扫描

我为 oracle 配置了 logstash 连接，但无法正常工作。

错误：无法加载 c:\ojdbc8.jar

您对这种情况有什么解决方案吗？

我正在尝试使用 logstash 连接 presto 以从 Cassandra DB 中提取数据。我正在寻找使用 logstash 的 presto-cassandra 连接。我尝试了几个 jdbc 驱动程序，但它无法创建连接。

您能否告诉我们是否可以与 Presto 连接？如果是，请您提供正确的 JDBC 驱动程序和在线资源。

请参阅下面的 logstash 配置文件，以使用 jdbc 插件将记录从 mysql 数据库中提取到 elasticsearch 索引中。如何修改它，以便根据在数据库中找到的值生成单独的索引，如下所示company_id：company_%{company_id}_user_events

这可以动态完成还是需要为每个公司ID创建单独的logstash配置文件预配置和硬编码？有没有像脚本或模板这样的中间立场？

如果有帮助，company_id可以将该字段添加到ahoy_events数据库中的表中，而不是像现在这样通过用户关联“添加”。

当前的logstash.conf

期望的结果是一个具有 company_id 命名空间的索引： company_%{company_id}_user_events 这样我可以稍后以相同的模式添加其他索引 company_%{company_id}_other_records