问题标签 [amazon-elasticsearch]

我想将数据从 S3 目录复制到 Amazon ElasticSearch 服务。我已经尝试按照指南进行操作，但不幸的是我正在寻找的部分丢失了。我不知道 lambda 函数本身应该是什么样子（指南中有关此的所有信息都是：“将您的应用程序源代码放在 eslambda 文件夹中。”）。我希望 ES 自动索引文件。

目前我正在尝试

但我得到了一个巨大的错误说明 elasticsearch.exceptions.RequestError: TransportError(400, u'action_request_validation_exception', u'Validation Failed: 1: index is missing;2: type is missing;3: index is missing;4: type is missing;5: index is missing;6: type is missing;7: ...

谁能向我解释一下，我该如何设置，以便我的数据从 S3 移动到 ES 并自动映射和自动索引？显然这是可能的，如参考here和here中所述。

我一直在本地、开发和登台服务器上使用 Neo4j ElasticSearch 集成模块 ( https://github.com/neo4j-contrib/neo4j-elasticsearch )，因为 elasticsearch 服务正在服务器本身上运行。

但是，当使用 Amazon AWS ElasticSearch 服务并将数据添加到 Neo4j 数据库中时 - 有时数据不会插入到弹性搜索中。

在 Neo4j 和 Elasticsearch 之间进行事务时不会引发错误或异常。

因此，调试变得越来越困难，因为它为什么会发生。

任何想法表示赞赏。

编辑：

至于网络设置，服务器是安装了 Neo4j 的 EC2 实例，所讨论的 ElasticSearch 服务是“AWS ElasticSearch Service”。因为它有时确实有效，所以我不明白这里的网络有任何问题。

Neo4j 版本：2.3.6 ElasticSearch 版本：2.3.2

再次指出，这仅在“AWS ElasticSearch 服务”连接时发生，而不是与在 EC2 实例本身上运行的服务连接时发生。

了解是否有任何方法可以记录 Neo4j 和 ElasticSearch 服务之间发生的事务，这将非常有帮助。

以下是日志文件的内容：/var/log/neo4j/console.log

API 的响应：ELASTICSEARCH_URL/_nodes/_all/http

EC2 实例：

AWS ElasticSearch 实例：

设置 AWS Elasticsearch 后，我在静态 IP 服务器上安装了 Logstash 和 Kibana 代理，并在 ES 上添加了这个域访问策略，它工作正常：

现在我需要允许 Lambda 函数es:ESHttpDelete在 AWS ES 上执行操作，因此我使用现有角色创建了该函数，然后从 IAM 管理控制台service-role/Elasticsearch复制了相关事件以将其添加到 AWS ES 访问策略中，从而得出以下结论：ARN

问题出在 ES 上，我应该为静态 IP 或 ARN 选择域访问策略，但不能同时选择两者。当我尝试手动合并它们而不是使用控制台时它不起作用。我检查了 AWS 文档，但他们没有提到这是否可能。

我正在尝试使用 python 创建我的第一个索引，但我不断收到 404 index not found 异常。这是当前代码：

编辑：我改变了一些东西，现在我得到了一个不同的错误。我已经更新了新问题的代码和标题。这是我的输出：

HEAD /test_logs 404 是什么意思？

所以我正在尝试创建与 AWS ES 的连接。我已成功连接到同一区域中的 S3 存储桶。但是，当我尝试连接到 ES 时，我每次都会收到此消息。

我已经导入了正确的模块，但似乎没有解决这个问题。这是我的代码

这看起来与我能找到的每个示例都相同，但由于某种原因它无法连接。

这是 Python 3.5，我的开发环境是 VS 2015。

我正在按照本指南将实时 Web 流量数据加载到 S3 中，配置 Lambda 以加载到 ES 域索引中。目前，对于每条记录，我在 S3 存储桶中创建一个新的 json 文件，命名为 {GUID}.json，仅包含一行。例如：

因此，当它上线时，它将在 S3 存储桶中上传数百万个 json 文件，然后通过 Lambda 函数推送到 ES。这是加载流数据的正确方法吗？或者我应该开发一个预定的流程来每小时聚合多条记录，例如每个 json 文件 10k 条记录然后上传到 S3 存储桶？我觉得这在技术上不是“实时流媒体”。

有什么建议么？

我有一些 Python 代码，我试图将一些文件解析为 AWS ES。下面是代码：

但是，我继续收到错误：

这发生在索引线上。我检查了数据，看起来我的数据被正确读取了。这是我尝试索引的文档示例。

谁能看到我做错了什么？

编辑：捕获的完整错误。这是输出

我无法找到如何使用亚马逊 sdk 与亚马逊弹性搜索集群交互的示例。有人可以指点我的例子吗？我找到了诸如 AWSCredentials 和 AWSElasticsearchClient 之类的 javadocs，只是在寻找如何将所有内容粘合在一起的具体示例。我正在寻找如何执行以下操作：

- 创建索引

-索引文件

- 删除文件

只是基本操作。我假设有一种“亚马逊”方式来创建客户端并与集群交互，因为它们提供了一个 sdk 和一个用于签署请求的凭证对象。

在使用 AWS Elasticsearch (2.3) 时，我 使用以下映射加载了一些示例数据https://www.elastic.co/guide/en/kibana/3.0/snippets/shakespeare.json

现在，当我运行查询以获取整个数据的扬声器计数时，我得到以下结果。

聚合桶中的文档数量似乎非常低。我期望看到的是以下具有文档计数的演讲者（以下是我通过明确评估整个数据的演讲者数量来计算的）：

我花了几个小时在网上搜索这个问题的原因，但我无法理解。我究竟做错了什么？

我正在尝试创建一个 lambda 函数，该函数从 s3 存储桶获取 apache 日志文件，将它们解析为 JSON 文档并将它们添加到 ES，如以下链接中所建议的那样：

https://github.com/awslabs/amazon-elasticsearch-lambda-samples

但我经常面临以下错误：

请为此推荐一个解决方案。