问题标签 [hawq]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
658 浏览

hadoop - 如何将数据从 HAWQ 推送到 GREENPLUM?

我有一个不稳定的客户,他想在经过一些预处理后将数据从 HAWQ 推送到 GREENPLUM。有没有办法做到这一点?如果没有,是否可以在 greenplum 中创建一个外部表,从运行 HAWQ 的 HDFS 中读取它?

任何帮助将不胜感激。

0 投票
1 回答
869 浏览

etl - Talend greenplumRow 错误处理

我想使用一个简单的 talend 作业在 greenplum HAWQ 中创建视图,它基本上有一个包含所有视图的文件输入,然后我需要执行 CREATE VIEW 脚本。

由于这些视图 (50-60.000) 来自 Oracle 系统,我需要找到我们无法创建的视图。

这是我的问题的模拟: 在此处输入图像描述

我已经在数据库中有一个视图,我想再创建 3 次。这显然会失败。

这是输出:

我想要这个输出 3 次,因为我尝试运行 3 次查询。(在最终版本中,我将创建另一个文件,其中仅包含失败的查询,因此我们可以稍后修复它,但这是一个关键点。)

作为一种解决方法:我可以将此 tRow -> OnError -> FixedFlow -> FailedViews 部分移动到不同的工作中,但这不是一个优雅的解决方案。

0 投票
3 回答
184 浏览

hadoop - How to configure Pivotal Hadoop

We are working on a Greenplum with HAWQ installed. I would like to run a hadoop-streaming job. However, it seems that hadoop is not configured or started. How can i start mapred to make sure that i can use hadoop-streaming?

0 投票
3 回答
555 浏览

sql-server - 如何使用 Spring XD 将数据从 oracle 和 sql server 加载到 HAWQ

嗨,我在 Oracle 和 SQL Server 中有表。我需要使用 Spring XD 将数据从 oracle 和 sql server 加载到 Pivotal HAWQ 中。在文档中找不到。

0 投票
2 回答
286 浏览

sql - 当优化器参数更改(ON/OFF)时,HAWQ 为相同的 sql 返回不同的输出

在处理GreenPlum HAWQ 1.1.3时遇到了一个奇怪的行为。想要执行一个简单的存在查询,但得到了错误的结果。

因此,当 HAWQ 的优化器参数设置为OFF时,查询返回 0 行,理想情况下应该返回存在于 temp1 和 temp 数据集中的记录,即3,4

所以我尝试了相同的查询,但将参数设置为 ON

此处查询返回预期结果。

猜想 Greenplum 工程师应该想出一个解决方案来解决他们的优化器的这种错误行为。

此外,当在 Greenplum DCA 4.2 上执行上述查询时,数据库崩溃并重新启动。我不明白如何向世界发布这种不成熟/未经测试的产品。这些只是一些简单的基本查询,在推向市场之前至少应该经过测试(alpha 测试)。最重要的是,当他们的工程师团队提出这个问题时,他们身边的支持人员要求为上述查询中的表提供 DDL。我猜支持人员无法理解此查询不包含任何表,它仅包含使用 with 子句创建的临时数据集。

0 投票
3 回答
1483 浏览

postgresql - 错误:关系不存在,在greenplum数据库上

我正在研究 PostgreSQL 8.2.15(Greenplum 数据库 4.2.0 build 1)(HAWQ 1.2.1.0 build 10335)。

我写了一个函数

我测试了它

它完全可以工作!

这是问题所在,如果我调用函数

Postgres告诉我你错了!

错误:关系“my_table1”不存在(segXX sliceX xx.xx.xx:40003 pid=570406)

  • 这些表和函数在相同的模式中。
  • 我可以访问它们。
  • 两个名字都是小写的。

所以,请帮助我。

我试过的

  • 将这些表从 my_schema 移到 public
  • 将功能移至公共
  • 添加架构前缀,例如 my_schema.my_table1。

由 2015/04/19 编辑

Postgre -> Postgres

我试过了

没关系。

如果像这样编辑该功能

它可以在任何情况下工作。

0 投票
3 回答
2612 浏览

hadoop - 为什么 HDFS 不适合需要低延迟的应用程序?

我是 Hadoop 和 HDFS 的新手,这让我很困惑为什么 HDFS 不适合需要低延迟的应用程序。在大数据场景中,我们将数据分布在不同的社区硬件上,因此访问数据应该更快。

0 投票
1 回答
1245 浏览

postgresql - 在不损失 Hadoop 并行处理能力的情况下,将 SAS 与 Hadoop 集成的最佳方法是什么

我试图了解 SAS 和 Hadoop 之间的集成。据我了解,像 proc sql 这样的 SAS 进程只能针对 SAS 数据集工作,我不能针对 hadoop 节点上的文本文件发出 proc sql。这是正确的吗?

如果是,那么我需要使用一些 ETL 作业首先将数据从 HDFS 中取出并将其转换为 SAS 表。但是如果我这样做,我将失去 Hadoop 的并行处理能力,对吗?

那么,集成 SAS 和 Hadoop 并仍然使用 Hadoop 的并行处理能力的理想方式是什么?

我知道您可以从 SAS 内部调用 map reduce 作业,但是可以用 SAS 编写 map reduce 作业吗?我想不是。

0 投票
1 回答
170 浏览

json - 使用关键 HAWQ 的数据即服务

我们有一个需求,我们需要将 HAWQ 的数据作为一个 Restful API 提供给许多消费者,例如具有 Web 服务安全性的 JSON 格式的移动应用程序、Web 应用程序等;基本上数据作为来自数据湖的不同应用程序的服务。您能否帮助我们提供详细的架构或一些相同的指示。我们正在使用 Pivotal HD 3.0

0 投票
1 回答
318 浏览

scala - 如何连接到 Pivotal HD(来自 Spark)?

我想知道如何将 Spark 应用程序连接到 Pivotal HD(一种 Hadoop 实现)。

使用 Spark 连接到它的最佳方式是什么?