1

我刚刚创建了一个谷歌云数据处理集群。一些基本的事情对我不起作用：

  1. 我正在尝试从主节点运行配置单元控制台，但它无法加载除 root 以外的任何用户（看起来有锁，控制台只是卡住了）。

  2. 但即使在使用 root 时，我也会看到一些奇怪的行为：

    • “显示表格；” 显示一个名为“输入”的表
    • 查询该表会引发未找到该表的异常。

  3. 目前尚不清楚哪个用户正在通过 Web ui 创建表。我创建了一个作业，执行它，但是通过控制台看不到结果。

找不到任何好的文档 - 有人对此有想法吗？

4

2 回答 2

3

hive由于默认的 Metastore 配置，目前运行该命令有些损坏。

我建议您改用beeline客户端，它与Dataproc Hive Jobs 与同一个Hive Server 2 通信。您可以通过 sshbeeline -u jdbc:hive2://localhost:10000在主服务器上运行来使用它。

YARN 应用程序由 Hive Server 2 作为用户“nobody”提交，您可以通过将-n标志传递给 beeline 来指定不同的用户，但这与默认权限无关。

于 2015-10-19T17:49:56.933 回答
0

这个线程有点旧，但是当有人搜索 Google Cloud Platform 和 Hive 时，这个结果就会出现。所以我添加了一些可能有用的信息。

目前，为了向 Google dataproc 提交工作，我认为 - 与所有其他产品一样 - 有 3 个选项：

  1. 从用户界面

  2. 从控制台使用命令行，例如： gcloud dataproc jobs submit hive --cluster=CLUSTER (--execute=QUERY, -e QUERY | --file=FILE, -f FILE) [--async] [--bucket=BUCKET] [--continue-on-failure] [--jars=[JAR,…]] [--labels=[KEY=VALUE,…]] [--params=[PARAM=VALUE,…]] [--properties=[PROPERTY=VALUE,…]] [GLOBAL-FLAG …]

  3. REST API 调用，例如：https ://cloud.google.com/dataproc/docs/reference/rest/v1/projects.regions.jobs/submit

希望这对某人有用。

于 2017-05-20T22:05:54.237 回答