问题标签 [amazon-athena]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
190 浏览

json - Hive 从 json 行中选择一个特定的字符串

我试图分析 Athena 中的 AWS 云跟踪日志,如果我选择安全组添加入站规则事件,它会在元素列中返回以下字符串。

但我需要groupId单独从那个 json 结果中。那么我怎样才能得到呢?

注意:表是外部表

0 投票
1 回答
1763 浏览

arrays - Hive 横向视图不起作用 AWS Athena

我正在处理AWS Cloudtrail 日志分析的过程,我陷入了从一行中提取 JSON 的困境,

这是我的表定义。

如果我运行select elements from cl1 limit 1它会返回这个结果。

我需要将此结果显示为虚拟列,例如,

我使用 AWS Athena,我尝试了横向视图,但 get_json_object 在 AWS 中不起作用。

它是一个外部表

0 投票
1 回答
1176 浏览

arrays - Hive 从嵌套数组中提取数据

您好需要从数组中提取数据,我使用 Athena

该表的单行是,

select * from customer limit 1

我需要像这样提取行

| 身份证 | 姓名 | 地点 | 游戏| 音乐 |

|-----|---------|----------|----------|---------- |

0 投票
1 回答
1059 浏览

date - Hive - 超过 x 天

在 AWS Athena 表中,我有一个时间戳列,看起来像,


我需要获取超过 7 天的事件时间。

我试过了current()unix_timestamp但没有运气。

0 投票
1 回答
433 浏览

arrays - Hive - 从 Json 中提取数组

我有一个包含一些值数组的表。

select inputdetails from apidetails

我需要结果

| 身份证 | 标签 |

|-------|---------------|

|api-1| 标签-1,标签-2|

我尝试了 select json_extract_scalar(inputdetails ,'$tags'),但它返回错误。

0 投票
5 回答
2525 浏览

ruby - 如何使用 Ruby 在 Amazon Athena 上执行查询?

如何将 Amazon Athena 与 Ruby 连接并在 Amazon Athena 上执行查询并获取结果。

我们找不到任何可以帮助我们在 ruby​​ 中连接 Amazon Athena 的 gem 或示例。

请提供我们可以用来与 Amazon Athena 建立连接并在 Ruby 中构建自定义查询执行器的任何参考。

只是为了澄清我的生产应用程序,因此将 SDK 从 Ruby 更改为 JRuby 对我来说不是一个合适的选择。

0 投票
2 回答
24687 浏览

presto - Amazon Athena / Presto 中的时间差异(秒和分钟)

我有一个创建时间戳和结束时间戳的列表,我想获得从创建到结束的最后秒数。如果不使用 UNIX 时间戳(我目前没有),找不到任何方法来做到这一点。

类似的东西:

datediff('second',min(creation_time),max(ending_time))

创建时间 = '2017-03-20 10:55:00' ..

0 投票
1 回答
240 浏览

json - Hive - 从嵌套的 Json 中提取数据

我有一个名为 newdata 的表

select data from string limit 1

我需要将此结果显示为

| 用户 | 姓名 | 学校| 学院|

|--------|---------|----------|-----------|

0 投票
1 回答
16283 浏览

datetime - 将 Unix 纪元时间转换为扩展的 ISO8601

我有 3 个表我想使用日期来处理,但是其中一个表包含 unix 纪元格式的日期。以下是 3 个字段的示例:

我想将表 3 中的日期转换为尽可能接近表 2 的格式。这就是我现在所拥有的:

这给了我一些非常接近的东西,但并不完全在那里。这是我得到的:

我已经玩了几个小时,但我没有更接近。有没有人有任何想法?

谢谢!

0 投票
1 回答
794 浏览

sql - 使用 Athena / Presto 从多个表返回 SQL 数据,受 1 个表中的日期范围限制

我正在慢慢完成一个利用 AWS Athena 处理各种日志文件的项目。我的目标是使用日志文件进行事件关联,因此我需要找到某种方法来在给定时间范围内从单个 SQL 语句中选择和显示来自多个表的数据。这是我要实现的目标的示例:


以下是来自 2 个表的数据示例:

表格1:

表 2:

由于表 2 将时间存储为 unix 时间,这会使事情变得有些复杂,因此我需要对其进行转换,以便使用一种通用的时间格式:

表2更新时间:


坦率地说,我不知道该怎么做 :) 这是我想到的一个查询,它只是超时:

我真的不知道下一步该去哪里,我已经用 SQL 工作了 3 天了,这超出了我的范围。我的目标甚至可以实现吗?

谢谢!