问题标签 [hiveddl]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
108 浏览

hadoop - Failed make hive table on desired path and insert the values

I want to make table in hive containing of only 1 column and 2 values: 'Y' and 'N'

I already try this:

My question is : why it locate at default table? how to make it through the path I desire?

When I make query from the table I jut make, it failed to show the field (using select * from )

0 投票
1 回答
896 浏览

amazon-s3 - 从外部 s3 存储桶 url 链接将数据导入配置单元表

我需要从与我共享 url 的公共 s3 存储桶中导入数据。如何将数据加载到配置单元表中?我试过下面的命令,但它不工作:

失败:执行错误,从 org.apache.hadoop.hive.ql.exec.DDLTask 返回代码 1。MetaException(消息:ml-cloud-dataset.s3.amazonaws.com/Airlines_data.txt 不是目录或无法创建目录)

我对 hive 很陌生,我不确定代码。在创建表以将数据加载到配置单元表后,我也尝试了下面的代码,但这也不起作用

0 投票
1 回答
313 浏览

hadoop - 如何处理列值中的分隔符?

我正在尝试将 CSV 文件数据加载到我的 Hive 表中,但它在一列的值中有 delimiter(,) ,因此 Hive 将其作为分隔符并将其加载到新列中。我尝试使用转义序列 \ 但我也 \ (它不工作并且总是在新列中加载数据,.

我的 CSV 文件:

我已经更新了我的表格。:

但是我仍然在之后的不同列中获取数据。

我在路径命令中使用加载数据。

0 投票
1 回答
303 浏览

json - 如何从配置单元 SQL 表描述生成 json 对象?

describe formatted table_name用来获取表格的描述。我得到以下结果。我想以某种方式将其转换为 json。有什么好的方法吗?换句话说,我想将我的 sql 表描述作为 json。不像以下输出中所示的表格。

desc 格式的 table_name 的输出

我想要得到的输出应该是这样的:

是否有任何功能或库可以为我做到这一点?现在,我正在使用 python 脚本手动执行此操作,但这非常困难且混乱。我不期望我提到的完全相同的输出,我正在寻找一种方法来从一些 python 脚本中轻松且有意义地解析它。有什么建议么?

0 投票
1 回答
194 浏览

hadoop - 如果我在移动表之前移动 Hive 表数据文件会发生什么?

我正在尝试将表的位置移动到新目录。假设原始位置是/data/dir。例如,我正在尝试这样的事情:

然后我执行配置单元命令,例如:

在更改表的位置之前移动目录文件可以吗?运行这些命令后,表格mytable_bkp是否会像以前一样填充?

0 投票
1 回答
41 浏览

hive - 在配置单元中创建一个带有时间戳作为注释的表

我想在 hive 中创建一个表,里面的注释包括创建日期(current_timestamp 函数)。像这样的东西:

但它返回错误:ILED: ParseException line 2: 8 mismatched input 'current_timestamp' expecting StringLiteral near 'COMMENT'

你知道有什么方法可以在评论中添加表格的创建日期吗?

0 投票
1 回答
299 浏览

json - Hive 外部表将 json 读取为文本文件

我正在尝试为 .txt 格式的 json 文件创建一个配置单元外部表。我尝试了几种方法,但我认为应该如何定义配置单元外部表我错了:

我的示例 JSON 是:

如您所见,它是数组中的数组。似乎这是由 API 返回的有效 json,尽管我读过帖子说 json 应该以“{”开头

无论如何,我正在尝试创建一个像这样的外部表:

这不起作用。这样的事情也不起作用

在尝试修改 json 文本文件,将 [ 替换为 { 等,添加分区后,我仍然无法使用 select * 查询它。我缺少表结构中的一个关键部分。

你能帮助我,以便表格可以正确读取我的 JSON 吗?

如果需要,我可以修改输入 JSON,如果双 [[ 有问题。

0 投票
1 回答
42 浏览

hive - Hive 外部表返回零行

我在本地目录中有一个活泼的压缩镶木地板文件/home/hive/part-00000-52d40ae4-92cd-414c-b4f7-bfa795ee65c8-c000.snappy.parque

当使用以下命令创建外部配置单元表时,它会被执行,但是当 select * from parquet_hive123456789 运行时,不会返回任何行。

通过 parquet-tools 我可以看到文件中的内容。

有人可以帮忙吗?

0 投票
1 回答
84 浏览

hadoop - 如何从本地机器的 AWS S3 存储桶创建 Hive 表?

我正在尝试从 S3 位置创建配置单元表,但出现错误。这是我的查询

错误 -

方案“s3n”没有文件系统

也试过了S3a://s3n:// 提前谢谢!

0 投票
1 回答
265 浏览

hadoop - Hive 表中的分区和集群方式如何工作?

我试图通过使用数据的放置方式来理解以下查询。

该关键字PARTITIONED BY将数据分布在下面,如 dir 结构。

但我无法理解,employee_id这些目录之间将如何分布?将创建 256 个存储桶(文件),所有这些文件都将拥有,employee_id但哪个文件将位于哪个目录下,这将如何决定?

谁能帮我理解这一点?