问题标签 [hawq]

例如，如果 YARN 在运行 query1 时由于某些未知原因而停止。此时，query2 分配资源运行。YARN 几分钟后重新启动。query1 和 query2 都会正常运行吗？

对于 PostgreSQL，有一个共享内存来缓存数据以提高性能。作为一个OLAP数据库，HAWQ是如何缓存数据的？与PostgreSQL相比，设计的异同点是什么？谢谢。

我尝试部署 HAWQ 2.0 但无法让 HAWQ Master 运行。以下是错误日志：

这是在Advanced gpcheck

看起来它在抱怨内存，但我似乎找不到要更改的参数。shared_buffers和在哪里max_connections？

一般如何解决此错误？谢谢。

如何将流数据插入hawq并对在线数据执行查询。

1. 我测试了 jdbc 插入，性能非常糟糕。

2. 之后我测试了使用flume将数据写入hdfs并在hawq中创建了外部表，但是hawq在flume关闭文件之前无法读取数据。问题是，如果我在几天后将水槽文件滚动设置为非常低（1 分钟），文件数量会增加，这对 hdfs 不利。

3. 第三个解决方案是hbase，但是因为我的大部分查询都是对许多数据的聚合，所以hbase不是一个好的解决方案（hbase适合获取单个数据）。

那么有这些限制，用hawq在线查询流数据有什么好的解决方案呢？

我们有 3 个节点并尝试使用 ambari 设置 hdfs 和关键 hawq，我已经为所有 3 台机器启用了无密码 ssh，但是当我启动 hawq 服务时，我收到“为所有 HAWQ 主机设置无密码 ssh 失败”这个错误请帮助解决这个问题。 在此处输入图像描述

在我使用 ambari 部署 hdfs、map reduce、hawq、pxf 后，我使用 impala-tpcds-kits 在 hdfs 上生成了大约 10G 的数据。

但是当我使用用户 postgres 登录 Postgres 时，我无法使用命令行CREATE EXTERNAL TABLE来索引 hdfs 上的数据。当我使用 psql help 命令时，没有关键字CREATE EXTERNAL TABLE.

我不知道为什么？

我在 Amazon EC2 上预置的 RedHat 服务器上安装 HAWQ。我已经在集群上安装了 HDP 2.3。我已经从Github克隆了 HAWQ 。

首先我跑./configure --prefix=/opt/hawq。

在第二步中，我运行make. 当我make从incubator-hawq. 从根目录 ( ) 中的文件夹make移动到编译时会出现以下错误：srcincubator-hawq

我知道编译器找不到hdfs/hdfs.h，但是随着依赖项（libhdfs3）编译成功，我不明白为什么找不到特定文件。如果有人遇到与我几乎被困在这里相同的问题，请提供帮助。

除了 Hive 分区过滤之外，有没有办法 PXF 仅选择查询中使用的列。

我有以 Hive-ORC 格式存储的数据，并使用 pxf 外部表在 HAWQ 中执行查询。最大的表存储在 Hive 中，我们无法在 HAWQ 中制作另一个数据副本。

谢谢 -

PS - 查询优化器是否收集 HAWQ 2.0 中外部表的统计信息？

我们有小型 hadoop 和 Greenplum 集群。
当前的数据管道流程是：

输出： 1.我们正在尝试使用 GREENPLUM 扩展数据管道。基本上想将HAWQ内部表或外部可读表数据直接推入greenplum。原因是因为我们想编辑我们的文件。另外，HAWQ 不支持更新和删除。是否有任何替代方法来处理或推送数据。请指导。

2.gphdfs协议如何通过GPDB外表访问HDFS数据

提前致谢！

我有一个复杂的过程，它被设计为事务性的，并且被编码为带有 Spring 注释的事务性。当我针对具有 XA 感知驱动程序的数据库运行它时，它运行良好（除了设置每个 RDBMS 以支持 XA 的麻烦）。

但是，我正在尝试将其连接到 HAWQ。HAWQ 是 XA 意识的，它基本上说，“哇，Nellie，我还没有做 XA。” 由于我可能会遇到具有类似限制的其他后备存储，因此确切的例外并不重要，我需要在通常的 XA 上下文中支持非 XA 数据存储的概念，在某些非常粗略的限制内。

该过程的结构使得 XA 是一种宝贵的奢侈品，但未在 XA 范围内捕获的事务故障是非关键的。

对于与 HAWQ 对话的类（或接触其他未来非 XA 系统的类），有没有办法将方法注释为“我知道调用者是事务性的，但我不是。”？

我已经回顾了如何排除一个方法是@Transactional？，但它正在解决一个不同的问题。