问题标签 [hawq]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - 如何将数据从 HAWQ 推送到 GREENPLUM?
我有一个不稳定的客户,他想在经过一些预处理后将数据从 HAWQ 推送到 GREENPLUM。有没有办法做到这一点?如果没有,是否可以在 greenplum 中创建一个外部表,从运行 HAWQ 的 HDFS 中读取它?
任何帮助将不胜感激。
etl - Talend greenplumRow 错误处理
我想使用一个简单的 talend 作业在 greenplum HAWQ 中创建视图,它基本上有一个包含所有视图的文件输入,然后我需要执行 CREATE VIEW 脚本。
由于这些视图 (50-60.000) 来自 Oracle 系统,我需要找到我们无法创建的视图。
这是我的问题的模拟:
我已经在数据库中有一个视图,我想再创建 3 次。这显然会失败。
这是输出:
我想要这个输出 3 次,因为我尝试运行 3 次查询。(在最终版本中,我将创建另一个文件,其中仅包含失败的查询,因此我们可以稍后修复它,但这是一个关键点。)
作为一种解决方法:我可以将此 tRow -> OnError -> FixedFlow -> FailedViews 部分移动到不同的工作中,但这不是一个优雅的解决方案。
hadoop - How to configure Pivotal Hadoop
We are working on a Greenplum with HAWQ installed. I would like to run a hadoop-streaming job. However, it seems that hadoop is not configured or started. How can i start mapred to make sure that i can use hadoop-streaming?
sql-server - 如何使用 Spring XD 将数据从 oracle 和 sql server 加载到 HAWQ
嗨,我在 Oracle 和 SQL Server 中有表。我需要使用 Spring XD 将数据从 oracle 和 sql server 加载到 Pivotal HAWQ 中。在文档中找不到。
sql - 当优化器参数更改(ON/OFF)时,HAWQ 为相同的 sql 返回不同的输出
在处理GreenPlum HAWQ 1.1.3时遇到了一个奇怪的行为。想要执行一个简单的存在查询,但得到了错误的结果。
因此,当 HAWQ 的优化器参数设置为OFF时,查询返回 0 行,理想情况下应该返回存在于 temp1 和 temp 数据集中的记录,即3,4。
所以我尝试了相同的查询,但将参数设置为 ON
此处查询返回预期结果。
猜想 Greenplum 工程师应该想出一个解决方案来解决他们的优化器的这种错误行为。
此外,当在 Greenplum DCA 4.2 上执行上述查询时,数据库崩溃并重新启动。我不明白如何向世界发布这种不成熟/未经测试的产品。这些只是一些简单的基本查询,在推向市场之前至少应该经过测试(alpha 测试)。最重要的是,当他们的工程师团队提出这个问题时,他们身边的支持人员要求为上述查询中的表提供 DDL。我猜支持人员无法理解此查询不包含任何表,它仅包含使用 with 子句创建的临时数据集。
postgresql - 错误:关系不存在,在greenplum数据库上
我正在研究 PostgreSQL 8.2.15(Greenplum 数据库 4.2.0 build 1)(HAWQ 1.2.1.0 build 10335)。
我写了一个函数
我测试了它
它完全可以工作!
这是问题所在,如果我调用函数
Postgres告诉我你错了!
错误:关系“my_table1”不存在(segXX sliceX xx.xx.xx:40003 pid=570406)
- 这些表和函数在相同的模式中。
- 我可以访问它们。
- 两个名字都是小写的。
所以,请帮助我。
我试过的
- 将这些表从 my_schema 移到 public
- 将功能移至公共
- 添加架构前缀,例如 my_schema.my_table1。
由 2015/04/19 编辑
Postgre -> Postgres
我试过了
没关系。
如果像这样编辑该功能
它可以在任何情况下工作。
hadoop - 为什么 HDFS 不适合需要低延迟的应用程序?
我是 Hadoop 和 HDFS 的新手,这让我很困惑为什么 HDFS 不适合需要低延迟的应用程序。在大数据场景中,我们将数据分布在不同的社区硬件上,因此访问数据应该更快。
postgresql - 在不损失 Hadoop 并行处理能力的情况下,将 SAS 与 Hadoop 集成的最佳方法是什么
我试图了解 SAS 和 Hadoop 之间的集成。据我了解,像 proc sql 这样的 SAS 进程只能针对 SAS 数据集工作,我不能针对 hadoop 节点上的文本文件发出 proc sql。这是正确的吗?
如果是,那么我需要使用一些 ETL 作业首先将数据从 HDFS 中取出并将其转换为 SAS 表。但是如果我这样做,我将失去 Hadoop 的并行处理能力,对吗?
那么,集成 SAS 和 Hadoop 并仍然使用 Hadoop 的并行处理能力的理想方式是什么?
我知道您可以从 SAS 内部调用 map reduce 作业,但是可以用 SAS 编写 map reduce 作业吗?我想不是。
json - 使用关键 HAWQ 的数据即服务
我们有一个需求,我们需要将 HAWQ 的数据作为一个 Restful API 提供给许多消费者,例如具有 Web 服务安全性的 JSON 格式的移动应用程序、Web 应用程序等;基本上数据作为来自数据湖的不同应用程序的服务。您能否帮助我们提供详细的架构或一些相同的指示。我们正在使用 Pivotal HD 3.0
scala - 如何连接到 Pivotal HD(来自 Spark)?
我想知道如何将 Spark 应用程序连接到 Pivotal HD(一种 Hadoop 实现)。
使用 Spark 连接到它的最佳方式是什么?