问题标签 [amazon-athena]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
json - Hive 从 json 行中选择一个特定的字符串
我试图分析 Athena 中的 AWS 云跟踪日志,如果我选择安全组添加入站规则事件,它会在元素列中返回以下字符串。
但我需要groupId
单独从那个 json 结果中。那么我怎样才能得到呢?
注意:表是外部表
arrays - Hive 横向视图不起作用 AWS Athena
我正在处理AWS Cloudtrail 日志分析的过程,我陷入了从一行中提取 JSON 的困境,
这是我的表定义。
如果我运行select elements from cl1 limit 1
它会返回这个结果。
我需要将此结果显示为虚拟列,例如,
我使用 AWS Athena,我尝试了横向视图,但 get_json_object 在 AWS 中不起作用。
它是一个外部表
arrays - Hive 从嵌套数组中提取数据
您好需要从数组中提取数据,我使用 Athena
该表的单行是,
select * from customer limit 1
我需要像这样提取行
| 身份证 | 姓名 | 地点 | 游戏| 音乐 |
|-----|---------|----------|----------|---------- |
date - Hive - 超过 x 天
在 AWS Athena 表中,我有一个时间戳列,看起来像,
我需要获取超过 7 天的事件时间。
我试过了current()
,unix_timestamp
但没有运气。
arrays - Hive - 从 Json 中提取数组
我有一个包含一些值数组的表。
select inputdetails from apidetails
我需要结果
| 身份证 | 标签 |
|-------|---------------|
|api-1| 标签-1,标签-2|
我尝试了 select json_extract_scalar(inputdetails ,'$tags'),但它返回错误。
ruby - 如何使用 Ruby 在 Amazon Athena 上执行查询?
如何将 Amazon Athena 与 Ruby 连接并在 Amazon Athena 上执行查询并获取结果。
我们找不到任何可以帮助我们在 ruby 中连接 Amazon Athena 的 gem 或示例。
请提供我们可以用来与 Amazon Athena 建立连接并在 Ruby 中构建自定义查询执行器的任何参考。
只是为了澄清我的生产应用程序,因此将 SDK 从 Ruby 更改为 JRuby 对我来说不是一个合适的选择。
presto - Amazon Athena / Presto 中的时间差异(秒和分钟)
我有一个创建时间戳和结束时间戳的列表,我想获得从创建到结束的最后秒数。如果不使用 UNIX 时间戳(我目前没有),找不到任何方法来做到这一点。
类似的东西:
datediff('second',min(creation_time),max(ending_time))
创建时间 = '2017-03-20 10:55:00' ..
json - Hive - 从嵌套的 Json 中提取数据
我有一个名为 newdata 的表
select data from string limit 1
我需要将此结果显示为
| 用户 | 姓名 | 学校| 学院|
|--------|---------|----------|-----------|
datetime - 将 Unix 纪元时间转换为扩展的 ISO8601
我有 3 个表我想使用日期来处理,但是其中一个表包含 unix 纪元格式的日期。以下是 3 个字段的示例:
我想将表 3 中的日期转换为尽可能接近表 2 的格式。这就是我现在所拥有的:
这给了我一些非常接近的东西,但并不完全在那里。这是我得到的:
我已经玩了几个小时,但我没有更接近。有没有人有任何想法?
谢谢!
sql - 使用 Athena / Presto 从多个表返回 SQL 数据,受 1 个表中的日期范围限制
我正在慢慢完成一个利用 AWS Athena 处理各种日志文件的项目。我的目标是使用日志文件进行事件关联,因此我需要找到某种方法来在给定时间范围内从单个 SQL 语句中选择和显示来自多个表的数据。这是我要实现的目标的示例:
以下是来自 2 个表的数据示例:
表格1:
表 2:
由于表 2 将时间存储为 unix 时间,这会使事情变得有些复杂,因此我需要对其进行转换,以便使用一种通用的时间格式:
表2更新时间:
坦率地说,我不知道该怎么做 :) 这是我想到的一个查询,它只是超时:
我真的不知道下一步该去哪里,我已经用 SQL 工作了 3 天了,这超出了我的范围。我的目标甚至可以实现吗?
谢谢!