问题标签 [logstash-jdbc]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
725 浏览

logstash - 使用 logstash jdbc 插件从 Teradata 导入数据

有人可以告诉我如何为 Teradata 使用 log stash JDBC 插件吗?

Teradata 的问题在于它需要列出两个 java_driver_file(tdgssconfig.jar 和 terajdbc4.jar)。如何指定两个文件 terajdbc4.jar 和 tdgssconfig.jar

我尝试了很多方法,例如:

这是不识别驱动库的类路径,如何在驱动库中指定两个jar文件?

0 投票
1 回答
4020 浏览

mysql - Logstash JDBC Input 插件:批量从 mysql 迁移数据

我有一个包含 5000 万行的 20GB 数据表。需要使用 logstash jdbc 输入插件迁移到 ElasticSearch。我已经尝试了所有基本实现,但需要帮助批量迁移数据,即一次只能迁移 10,000 行。我不确定如何以及在何处指定此计数以及下次运行 logstash 时如何更新它。请帮我解决这个问题

这就是我所拥有的:

提前致谢。

0 投票
3 回答
6114 浏览

performance - Logstash-JDBC 插件:将数百万条记录从 Oracle 导入 ElasticSearch

场景: - 我正在尝试将一个大型数据集从 Oracle DB(几百万条记录)导入 ElasticSearch。- 我可以使用 logstash jdbc 输入插件导入数据。

问题: - 需要很长时间(5 小时)才能完成。

  • 有没有更好的解决方案来减少这个时间?在这种情况下的良好做法
0 投票
1 回答
2161 浏览

elasticsearch - ElasticSearch 中令人难以置信的慢速索引

我们决定在我们的产品中加入搜索引擎。并比较 ElasticSearch 和 Solr。当我们开始使用 Elastic 2.3.3 时。我们面临索引缓慢的问题。我们使用 Logstash 提供弹性数据,对包含 4000000 条记录的表进行索引需要 8 个多小时。表的物理大小接近 40GB。我们使用硬盘......是的,很遗憾。但是在同一台 PC 上,我们测试了 Solr,同样的操作需要 3 个小时。可能我们在elastic的配置上搞错了?而弹性的另一个时刻索引大小是表大小的两倍多,而 solr 索引只有 DB 大小的 8%。当我们使用 logstash 在文件中输出数据时,它会变得非常快。

这里我们为 elastic 的 logstash 的 jdbc 模块配置:

我们只设置了 1 个分片,没有设置副本。

亲爱的社区,也许您有任何建议,因为只有在我们购买订阅后,对弹性的支持才会对我们有所帮助。但是购买订阅效果不佳的产品,我认为这不是一个好主意。感谢您的关注,等待您的想法。

0 投票
1 回答
1003 浏览

elasticsearch - 是否可以为 jdbc sql_last_value 使用 varchar/string?

我已经在输入中的插件中测试了sql_last_value一个integerdatetime类型的字段,它运行良好。jdbclogstash

我只是好奇,是否有可能使用一种 varchar/string类型的字段,以便sql_last_value不时更新,以防我的表中没有任何datetimeint字段。

任何帮助都将不胜感激。

0 投票
1 回答
6443 浏览

elasticsearch - 如何在 Logstash 5.0 中每五分钟运行一次计划?

当我试图根据属性执行查询时,我在其中有一个jdbc连接。我浏览了jdbcrufus-scheduler,但仍然不清楚这五颗星(*)分别代表什么。inputlogstashschedule

据我所知,星星从左到右(* * * * *):

  1. 分钟
  2. 小时
  3. 从(月)
  4. 至(月)

因此,如果是这样的场景(* * * * *),则表示调度程序将每分钟运行一次。因此,如果我每五分钟运行一次,调度程序应该是什么样子?像 (5 * * * *) 之类的东西?

我猜对了吗?或者如果我错了请纠正我。

0 投票
2 回答
1838 浏览

elasticsearch - Logstash jdbc 插件:如何对列使用日期过滤器?

在我的 MS SQL 表中,我有一列将日期存储为格式为“dd-mm-yyyy 00:00:00.000”的字符串,例如:1999-10-06 00:00:00.000 或 2000-04-27 00: 00:00.000

在导入期间,我想将此列的值转换为日期类型。

我看到了一个称为过滤器的功能,它可以进行这种类型的转换。我找到了示例,但仅用于解析 Beats 使用某种正则表达式带来的日志全文行。

如何将此功能用于 sql 列?例如,如何调整这个 conf 文件以使其真正工作?

目前这个 conf 不起作用并创建这个 ES 文本字段:

0 投票
0 回答
475 浏览

database - Logstash - 仅使用 JDBC 导入新的或更新的行

现在我已经让 Logstash 使用 JDBC 插件导入我的 MSSQL 数据库的微型版本。我已将每个 JDBC 输入安排为每分钟运行一次以更新 Elasticsearch。要更新,我目前只是重新导入数据库中的每个表和行,并将所有行添加到 Elasticsearch。但是,当我开始使用完整数据库时,这将非常低效,因为遍历整个数据库需要一分钟多的时间。还有其他方法可以让 Elasticsearch 与我的数据库保持同步吗?我尝试使用 'sql_last_value' 参数仅将新行导入数据库,但这仅在我的数据库表的 'id' 为数字且表中的每个新条目的数字大于最后。数据库中的某些表有一个“id” 它可以是完全随机的(即“43f4-f43ef-e44454r”),不能与“sql_last_value”一起使用,因为它们无法比较。我也根本无法修改实际的数据库,这减少了我很多潜在的解决方案。我觉得好像我在这里没有选择,所以任何人都可以建议我可以尝试的任何东西吗?

0 投票
2 回答
3878 浏览

logstash - 为什么 Logstash 在 ~/.logstash_jdbc_last_run 中放错了时区?

Logstash 5.2.1

下面的配置是好的,部分更新正在工作。我只是误解了结果以及 Logstash 如何使用时区。

jdbc_default_timezone 时区转换。SQL 不允许在时间戳字段中使用时区数据。此插件将自动将您的 SQL 时间戳字段转换为 Logstash 时间戳,采用 ISO8601 格式的相对 UTC 时间。使用此设置将手动分配指定的时区偏移量,而不是使用本地机器的时区设置。例如,您必须使用规范的时区,欧洲/罗马。


我想在 Logstash 的帮助下将一些数据从 PostgreSQL 索引到 Elasticseach。部分更新应该可以工作。

但就我而言,Logstash 在~/.logstash_jdbc_last_run.

我的电脑/服务器时间:

我的 Logstash 配置:

没有jdbc_default_timezone时区也是错误的。

我的 PostgeSQL 数据:

数据库数据是这样导入的:

为什么 Logstash 输入错误的时区~/.logstash_jdbc_last_run?以及如何解决?

0 投票
1 回答
590 浏览

elasticsearch - Logstash/Elasticsearch JDBC document_id vs document_type?

因此,当我使用来自 logstash 的 JDBC 导入器并导出到 elasticsearch 时,我试图围绕 document_type 与 document_id 进行比较。

我终于把头绕在索引上。但是让我们假装我从一个传感器数据表(如温度/湿度/等...)中提取,其中包含传感器 ID 的...温度/湿度(与天气相关的数据)并记录了时间。(所以这是一张大桌子)

而且我想经常每隔 X 轮询一次数据库。

在这种情况下,document_type vs document_id 会是什么,这将针对 1 个索引存储(或任何您想调用的名称)。

document_type vs document_id 让我很困惑,尤其是在 JDBC 导入器方面。

如果我将 document_id 设置为说我的主键,它不会每次都被覆盖吗?所以我每次只有一份数据文件?(这似乎毫无意义)