1

我正在使用 RoR 开发一个应用程序和一个名为 searchkick 的 gem，这个 gem 内部使用了 elasticsearch。一切正常，但在制作过程中，我们遇到了一个奇怪的问题，一段时间后网站出现故障。我们发现的原因是服务器上的内存被过度使用。我们删除了前一周的一些elasticsearch日志文件，发现内存使用率从92%下降到了47%。我们使用滚动日志，并且每天都会备份日志。现在，我们面临的问题是，只有前一天的 1 个日志文件，内存增长得更高。日志文件占用了很多空间，即使是当前的文件也需要 4GB ！！！！我怎样才能防止这种情况？

消息几乎是警告级别。

[00:14:11,744][WARN ][cluster.action.shard ] [Abdul Alhazred] [?][0] sending failed shard for [?][0], node[V52W2IH5R3SwhZ0mTFjodg], [P], s[INITIALIZING], indexUUID [4fhSWoV8RbGLj5jo8PVoxQ], reason [Failed to start shard, message [IndexShardGatewayRecoveryException[[?][0] failed recovery]; nested: EngineCreationFailureException[[?][0] failed to create engine]; nested: LockReleaseFailedException[Cannot forcefully unlock a NativeFSLock which is held by another indexer component: /usr/lib64/elasticsearch-1.1.0/data/elasticsearch/nodes/0/indices/?/0/index/write.lock]; ]]

查看一些SO questions，我正在尝试增加 ulimit 或创建一个新节点，以便问题也得到解决并减小大小。我的limits.conf 有65535 硬和软nofile。同样在 sysctl.conf fs.file-max 中超过 100000。我可以采取任何其他步骤来减小文件大小，而且我无法深入了解 elasticsearch 配置更改。

如果有人可以帮忙。谢谢

4

2 回答 2

1

我建议至少升级到 1.2.4，因为 Lucene 中报告了一些文件锁定问题：http: //issues.apache.org/jira/browse/LUCENE-5612，http : //issues.apache.org/jira /浏览/LUCENE-5544。

于 2015-01-28T05:49:16.990 回答
0

是的，ElasticSearch 和 Lucene 都是资源密集型的。我做了以下工作来纠正我的系统：

  1. 停止弹性搜索。如果您从 (bin/elasticsearch) 之类的命令开始，请在启动时指定此设置以设置堆。例如，我使用一个 16GB 的盒子，所以我的命令是

一种。bin/elasticsearch -Xmx8g -Xms8g

湾。转到配置（elasticsearch/config/elasticsearch.yml）并确保

bootstrap.mlockall：真

C。将 ulimits -Hn和 ulimits -Sn 增加到 200000 以上

  1. 如果您作为服务启动，请执行以下操作

一种。导出 ES_HEAP_SIZE=10g

湾。转到配置（/etc/elasticsearch/elasticsearch.yml）并确保

bootstrap.mlockall：真

C。将 ulimits -Hn和 ulimits -Sn 增加到 200000 以上

确保输入的大小不超过堆的 50%，无论是作为服务启动还是从命令行启动

于 2015-10-08T20:58:18.740 回答