问题标签 [elasticsearch-snapshot]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
378 浏览

amazon-web-services - AWS ElasticsearchService:自动快照运行超过 20 天

几天来,我们在使用 ElasticSearch 查询时遇到了很多失败。当我监控集群运行状况时,CPU/JVM 内存利用率很高(几乎 98%)。在调试问题时,我发现最后一个自动快照是我IN_PROGRESS状态超过 20 天,我怀疑这是根本原因。但我不确定是什么导致了长快照,并且无法停止/删除该快照。当我使用带有 aws 签名的邮递员在存储库上尝试 http DELETE 请求时,401 Unauthorized出现 message 错误Your request is not allowed

谁能帮助我了解长期运行的快照问题以及如何解决它。

提前致谢。

0 投票
1 回答
482 浏览

elasticsearch - 删除 Elasticsearch 快照

我们有一个在 EKS 上运行的 elasticsearch 集群,并且我们已经为该集群配置了一个每日快照到 S3 上。我们现在在 S3 上堆积了大量数据,为了优化成本,我们计划删除任何超过 2 周的快照。

但是,由于快照是增量的,我们不确定删除旧快照是否会损坏新快照。

所以我的问题是我们能否使用 Elasticsearch 中的 DELETE Api 从 S3 中安全地删除旧快照,而不会损坏任何新快照?

0 投票
0 回答
8 浏览

elasticsearch - 如何删除已拍摄的弹性搜索快照中的一组特定索引

在我们的组织中,我已按月为所有索引拍摄快照,但现在关注的是通过从已拍摄的快照中删除不需要的索引来减少空间。

我在快照部分搜索了官方网站,但没有找到。请帮忙

0 投票
1 回答
115 浏览

python - 如何在 python 中读取 Elasticsearch 快照文件?

我有一个 ES 集群,我们开始使用 Azure 函数(在 python 上)将数据流式传输到 Azure Blob。基本上,我以 JSON 格式获取最后 5 分钟的数据,压缩 JSON 列表并将它们存储在 Blob 中以获取实时数据。我们有一个 S3 存储桶,其中包含快照。有没有办法用 python 读取文件中的 JSON,而不必在单独的 ES 上恢复索引来获取历史数据?这是大量数据,必须运行一个单独的实例来恢复它,然后我才能提取 JSON,但这并不划算。

0 投票
0 回答
268 浏览

elasticsearch - Elasticsearch - 存储库异常

通过快照恢复索引时,我得到“repository_exception”。

错误 - 无法读取存储库数据,因为存储库的内容与其预期状态不匹配。这很可能是由于该集群以外的进程同时修改了存储库的内容,或者是存储库的底层存储存在问题。该存储库已被禁用以防止损坏其内容。要重新启用它并继续使用它,请从集群中删除存储库并再次添加它,以使集群从其物理内容中恢复存储库的已知状态。”

将弹性搜索从 6.8x 升级到 7.3 后,我遇到了这个问题

要创建快照,我使用以下命令 -

curl -X PUT "http://url:9200/_snapshot/test" -H 'Content-Type: application/json' -d' { "type": "fs", "settings": { "location": " /mnt/stgintessnap/weekly_snap" } } '

0 投票
1 回答
22 浏览

elasticsearch - Elasticsearch由于大小而恢复大型快照不完整

我有一个项目,我需要在只读实例中一次恢复几个快照,并达到一个大于我在机器上的大小并且无法增加大小或添加另一个节点的快照。我还按特定索引进行过滤,可以拆分该列表并首先插入一批,处理并删除它们,然后插入第二批。在使用_status导入之前,我无法检查索引的大小,因为我遇到了超时错误,所以我尝试恢复整个事情并等到它失败。我现在恢复了 108/215 个索引,并且能够列出它们并从第二批中减去,但是如果已成功导入的索引是完整的,我还没有找到关于这种情况的文档。

有没有办法找出在发生低存储问题之前导入的索引是否完整?

谢谢