问题标签 [elasticsearch-bulk-api]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
762 浏览

c# - 如何在elasticsearch bulk api(NEST)中使用ttl

我正在尝试使用 NEST 客户端使用批量 API。如何根据集合的属性指定 TTL 值。考虑以下代码片段,我如何指定“ttl”来表示 person.Age > 50 --> 1 个月,否则为 6 个月?:

0 投票
1 回答
6931 浏览

elasticsearch - ElasticSearch,在使用批量 api 时在索引名称上使用通配符

0 投票
2 回答
1595 浏览

php - Elasticsearch 批量索引错误消息:%s% 不是有效参数。允许的参数是:%s%

我对批量索引有疑问。

我已经创建了分析和映射,但是当我尝试批量索引我的数据时会出现此错误。

我的代码有什么问题?

弹性搜索错误

抽象端点.php

我的映射

我的数据

My_bulk_code

0 投票
1 回答
371 浏览

elasticsearch - NEST:如何在一个批量请求中执行不同的操作和映射类型?

我有一个“事件”对象列表。每个事件都有它的操作(删除、更新、索引等)、它的映射类型(文档、文件夹等),以及要索引到 Elasticsearch 中的实际内容(如果有)。我不知道这些操作中的任何一个会提前。如何使用 NEST 为每个事件动态选择批量操作和映射类型?

0 投票
0 回答
68 浏览

java - ElasticSearch 负载率随着时间的推移而下降

我正在使用 Java 1.7 和 ES 批量 API 和 Java 客户端将 json 文档加载到并嵌入 Elasticsearch 1.7.1 实例。

在这需要运行的多个小时内,我注意到每分钟加载文档的速度逐渐下降。我正在使用旋转媒体而不是 SSD 的 Linux 上执行此操作。我不确定随着底层 Lucene 索引的增长以及后来的插入花费更多时间寻找插入的位置,这是否是预期的行为。或者它是否可能是别的东西。

有没有其他人观察到这一点?

0 投票
1 回答
4897 浏览

elasticsearch - elasticsearch批量队列大小

我在批量导入数据时监控弹性搜索集群。

所以当我运行 curl localhost:9200/_cat/thread_pool?v

表明:

我目前正在同时运行 5 个脚本来导入数据,批量大小为 500,我还将批量队列大小也增加了 300。

所以我想知道 bulk.queue 6 是什么意思。是一次批量操作中只有 6 个文档,还是实际上是 6 个批量请求,即 6 * 500 = 3000 个文档?

0 投票
1 回答
12091 浏览

elasticsearch - 使用 NEST 对 ElasticSearch 进行批量更新

我正在尝试使用 NEST 替换 ES 上的文档。我看到以下选项可用。

选项1:

选项#2:

那么谁能告诉我哪个更好或使用 NEST 进行批量更新或删除的任何其他选项?

0 投票
2 回答
2986 浏览

windows - Elasticsearch - 在 Windows 中使用 Sense Web 插件进行批量插入

我正在尝试按照弹性搜索教程(https://www.elastic.co/guide/en/kibana/current/getting-started.html)使用_bulk api导入accounts.json数据。我正在为此任务使用 google-chrome 的Sense插件。

当我将 url 粘贴到curl -XPOST 'localhost:9200/bank/account/_bulk?pretty' --data-binary @accounts.jsonSense 上,它会转换为POST /bank/account/_bulk?pretty.

这里的解决方案:Kibana: Cant import Shakespeare.json on Sense Web Plugin说,要使用CURL命令。但在 Windows 上,curl 命令无法识别。

curl -XPUT localhost:9200/_bulk --data-binary @shakespeare.json 'curl' is not recognized as an internal or external command, operable program or batch file.

0 投票
1 回答
304 浏览

elasticsearch - elasticsearch 批量脚本不适用于 elasticsearch.yml 更改

当我尝试运行 curl 命令时,例如:

其中 bulk_prova.elastic 是:

我收到了这个错误

我搜索解决了这个问题,我已经管理了 elasticsearch.yml 文件以启用动态脚本,但是每次我尝试更改文件并在重新启动 elasticsearch 服务时停止弹性,它都不会启动。

由于这种奇怪的行为,我不知道如何解决这个问题。

我有 2.2.0 版本,我的目的是向索引添加一个字段(现在)或多于一个索引(一旦问题解决)

0 投票
0 回答
1229 浏览

ruby-on-rails - 如何使用 ElasticSearch rails 批量导入 1M 条记录?

我想在我的生产服务器中运行从我的 MySQL 表到 ES 的批量导入——对于我的模型 Wine。有 150 万条记录。

我的模型 - ES gem 的代码:

在开发中,我成功运行:

但我只有 1000 条记录...

我可以在 prod 中运行类似的命令而不会出现问题吗?还有其他方法吗?

我注意到我需要推送使用上面代码更新的模型,否则它将不起作用。问题是如果用户想要在批量导入之前更新对象并且在我的模型更改之后,将会出现 ES 问题 (DocumentNotFound) - 合乎逻辑。如果尚未创建,是否可以使用回调来创建 ES 索引,而不是获得 ES 异常?

这样做的正确方法是什么?“elasticsearch:import:model”是否在后台工作?