hive - 我们如何使用 URL 将数据加载到配置单元中

Question

我在 hive 中创建了一个表，我需要将 csv 数据加载到 hive 表中，但是数据在 github 中（我已经下载并测试它工作正常）我需要直接从 URL 加载数据是否可以将数据加载到来自 URL 的蜂巢

像这样的东西可以工作

LOAD DATA  INPATH 'https://github.com/xx/stock-prices.csv' INTO TABLE 
stocks;

Answer 1

可以使用以下命令将平面文件中的数据加载到 Hive 中。

来自Apache Hive 维基：

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] [INPUTFORMAT 'inputformat' SERDE 'serde'] (3.0 or later)

如果指定了关键字 LOCAL，Hive 会在本地文件系统中查找文件路径并从那里加载。如果未指定关键字 LOCAL，Hive 会在HDFS 文件系统中查找文件路径并在那里加载数据。

您可以为 HDFS 文件以及本地文件指定完整的 URI。

例子：

file:///user/data/project/datafolder (Local Path)

hdfs://namenode:10001/user/data/project/datafolder (HDFS path)

这意味着无法从 https 将数据直接加载到 hive 中。所以你必须先下载数据并加载到 hive 中。

这不是解决方案，而是正确的答案。