问题标签 [aws-elasticsearch]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
3980 浏览

elasticsearch - 在弹性搜索中的一个查询中搜索父级及其所有子级

参考官方文档中提到的建立父子关系的例子——https: //www.elastic.co/guide/en/elasticsearch/reference/current/parent-join.html

该链接提供了问答连接关系,其中问题是父类型,答案是子类型。

如果您需要在一个查询中搜索所有匹配某些文本的父母以及匹配某些特定于孩子的文本的孩子,您会怎么做?

假设他们在下面的 json 文档中有键值对,我们搜索匹配问题中文本的父母和匹配答案文本中的值的孩子。

我们不希望结果中只有父母或孩子,而是所有父母及其关联的孩子与查询匹配。

我知道内部点击是一种选择,但无法弄清楚用法 - https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-inner-hits.html

我希望问题很清楚,如果需要可以添加更多细节。

我还尝试了这里提到的父子内部点击示例:

例子:

这给了我所有父母的匹配孩子。如何向父级添加过滤器并仅查询同一查询中的特定父级(以及子过滤器)?是否可以在同一查询中过滤特定字段的父记录?

像这样的东西-

0 投票
1 回答
3338 浏览

amazon-web-services - 如何将 AWS Elasticsearch 移动到另一个账户

我正在将每项服务下的所有实例从旧 AWS 账户转移到新的 AWS 账户。我找到了将 EC2 和 RDS 移动到另一个帐户的方法。

  • 为了移动 EC2 实例,我创建了一个 AMI 并与新的 AWS 账户共享。使用该图像我创建了一个实例
  • 为了移动 RDS 实例,我创建了一个快照并与新的 AWS 账户共享。我已在新帐户中恢复了共享快照

现在我需要将 Elasticsearch 从旧帐户转移到新帐户。我想不出一种方法来移动我的 Elasticsearch。谁可以帮我这个事?

0 投票
0 回答
911 浏览

amazon-web-services - Aws Elasticsearch 访问策略允许 Https Get 请求并阻止所有其他请求

我正在尝试允许任何人对我的 AWS Elasticsearch 域进行 HTTP 获取请求。并将所有其他请求(如 CREATE、DELETE)限制为仅限 IAM 用户。我尝试使用以下策略,并且能够通过使用我的用户凭据(使用 aws-es-proxy 工具)签署请求来成功创建、删除索引。但是从公共计算机到域的 HTTP 请求失败。

对 ES 域的公共 HTTP 请求失败,并出现错误“未授权匿名”。[上面提到的账户ID是一个虚拟号码]

0 投票
1 回答
903 浏览

elasticsearch - AWS Elasticsearch:签署由 elasticsearch-rest-high-level-client 发出的请求

我们正在使用elasticsearch-rest-high-level-client与 AWS Elasticsearch 进行通信。

但是,正如我们被告知的,我们需要使用 AWS 凭证签署请求。我知道这个类AWS4Signer,但不知道如何使用它elasticsearch-rest-high-level-client

0 投票
1 回答
5260 浏览

amazon-web-services - 从浏览器访问 Amazon AWS elasticsearch Kibana

我知道这个问题之前已经讨论过,但是我觉得我的问题有点不同。

我试图弄清楚如何通过我的 AWS 账户中的自我管理 AWS 弹性搜索来访问 Kibana。

可能是我在这里要说的内容不准确或完全是胡说八道。我在整个 AWS VPC 明智的部分和 ELK 中都非常新手。

架构: 这是“架构”:

  1. 我有一个 VPC。
  2. 在 VPC 中,我有几个子网。
  3. 每个服务器使用在服务器本身上运行的日志存储将其数据发送到弹性搜索。为简单起见,假设我有一个服务器。
  4. 可以在 Amazon 控制台中找到的弹性搜索 https url 被解析为我定义的子网中的内部 IP。

资源:

我发现以下链接建议使用两个选项之一:

https://aws.amazon.com/blogs/security/how-to-control-access-to-your-amazon-elasticsearch-service-domain/

解决方案:

选项 1:基于资源的策略

  1. 通过引入指定特定 IP 地址的条件来允许基于资源的弹性搜索策略。

这在以下线程中进行了讨论,但不幸的是对我不起作用。

Amazon Elastic Search 集群的正确访问策略

当我尝试在 Amazon 控制台中实现它时,Amazon 通知我,因为我正在使用 Security group ,所以我应该使用 security group 来解决它。

安全组规则:

我试图设置一个规则,允许我的个人计算机(路由器)公共 IP 访问 Amazon 弹性搜索端口,甚至打开所有端口到我的公共 IP。

但这并没有成功。我很乐意得到更详细的解释,但我猜这是因为弹性搜索只有内部 IP 而没有公共 IP,而且因为它被封装在 VPC 中,即使我定义了我也无法从外部访问它公共 IP 访问它的规则。

选项 2:使用代理

除非我别无选择,否则我拒绝使用此解决方案。

我猜如果我在与弹性搜索相同的子网和 VPC 中设置另一台具有公共和内部 IP 的服务器,并将其用作代理,那么我将能够通过定义从外部访问该服务器与新创建的安全组相同的规则。就像文章建议的那样。

资料来源:

我发现有人已经在以下链接中使用代理服务器为这个问题制作了开箱即用的解决方案:

使用可执行文件或 docker 容器。

https://github.com/abutaha/aws-es-proxy

选项 3:其他

你能建议其他解决方案吗?是否可以使用 Amazon 负载均衡器或 Amazon API 网关来完成此任务?

我只需要概念证明而不是进入生产环境的东西。

底线:

我需要能够从浏览器访问 Kibana,以便能够搜索弹性搜索索引。

非常感谢

0 投票
2 回答
266 浏览

amazon-web-services - 处理弹性搜索失败 - 如何在 Dynamodb 和 Elastic Search 中同步记录?

我正在使用 AWS Dynamo DB 和 Elastic Search。如果其中任何一个失败,我正在寻找某种方法来使 Dynamo DB 数据与 Elastic Search 保持同步。

目前我使用 lambda 将我的记录推送到 Elastic Search。我知道有插件 - Logstash 可用,但我不能使用它,因为它需要进行大量更改。另外,我不喜欢扫描 DynamoDB 表,因为它太贵了。还有其他方法可以实现吗?

0 投票
0 回答
222 浏览

elasticsearch - amazon_es amazones - 无法安装模板:无法解析映射 [_default_]

amazon_es在我的logstash.

我的 logstash.conf 如下所示:

我有以下错误:

0 投票
1 回答
175 浏览

amazon-web-services - AWS Elasticsearch 6.2 kurumoji 插件是否支持用户字典

在我的应用程序中,我使用的是AWS Elasticsearch 服务版本 6.2

在这个版本中,我安装了 kurumoji 插件来支持日文字符串。

我需要对几个日文字符串使用 user_dictionary。

AWS Elasticsearch (Kurumoji) 是否支持“ user_dictionary ”?

如果是,将user_dictionary文件放在 aws elasticsearch 中的哪个位置?

0 投票
0 回答
62 浏览

elasticsearch - 在弹性搜索索引中添加父类型而不更新其现有文档

我正在将现有ElasticSearch集群(5.x)的版本升级到6.x以实现父子关系。我有一些父索引,我想在其映射中添加新的连接类型,以便我可以与子索引建立父子关系。

父映射:

我可以使用 _mapping API 将新的连接类型添加到父映射,但是我需要更新该索引中的每个现有文档以具有新的连接属性。我们在这个索引中有近十亿个数据,我们不想更新每个文档以建立新的关系。

有没有办法有效地处理这个问题?是否有替代解决方法可以在不接触文档的情况下实现相同的效果?

谢谢你的指导!!!

0 投票
1 回答
459 浏览

elasticsearch - 使用 Elasticsearch File System Crawler 将 pdf 文件索引到 AWS Elasticsearch 服务

我可以使用Elasticsearch File System Crawler将 pdf 文件索引到本地 Elasticsearch 。默认情况下,fscrawler 设置具有端口、主机和方案参数,如下所示。

但是,我很难使用它来索引 AWS elasticsearch 服务,因为要索引到 AWS elasticsearch,我必须提供 AWS_ACCESS_KEY、AWS_SECRET_KEY、区域和服务,如此所述。有关如何将 pdf 文件索引到 AWS elasticsearch 服务的任何帮助是高度赞赏。