问题标签 [hawq]

我们有小型 gpdb 集群。当我尝试使用'gphdfs'来自 gpdb master 的协议读取外部表时。环境

产品版本 Pivotal Greenplum (GPDB) 4.3.8.2 操作系统 Centos 6.5

得到错误：

我们尝试了：Greenplum 主机上的以下链接 https://discuss.pivotal.io/hc/en-us/articles/219403388-How-to-eliminate-error-message-WARN-util-NativeCodeLoader-Unable-to-load -native-hadoop-library-for-your-platform-with-gphdfs

命令结果

按照链接中的建议更改“Hadoop-env.sh”中的内容后它不起作用。仍然抛出相同的错误。我是否需要重新启动 gpdb 以影响更改“Hadoop-env.sh”。

或者

是否有替代方法来处理 gphdfs 协议错误？

任何帮助将不胜感激？

附件是失败的外部表的 DDL

想要创建分区表但出现语法错误：

CREATE TABLE public.emp (id int, date_1 date, amt decimal(10,2)) DISTRIBUTED BY (id) PARTITION BY RANGE (extract(year from date_1)::int) ( START ('2008') INCLUSIVE END (' 2010') 每期独家（间隔“1 年”））；

错误：“（”或附近的语法错误第 3 行：PARTITION BY RANGE（提取（从 date_1 开始的年份）::int）^

********** 错误 **********

错误：“（”处或附近的语法错误 SQL 状态：42601 字符：117

我们想尝试在下面描述我的问题：我们有小型 gpdb 集群。在这方面，我们正在尝试使用 Talend 工具进行数据集成。

我们正在尝试将增量从一个表加载到另一个表，非常简单......我想......

作业数据流是

得到错误

我们有一个 Greenplum 数据库的小数组。在那，我们有一个主节点。当我尝试使用 PSQL 实用程序时

收到此错误：

[gpadmin@master gpseg-1]$ psql

在搜索 postmaster.pid 文件时。我们已将其删除。但错误仍然存​​在。

我正在使用 HDP 2.4.2 我想将 Spark 与 HAWQ 连接以进行数据摄取。

请让我知道是否有任何推荐/正确的方法，目前我正在使用 postgress jdbc 驱动程序将 spark 与 HAWQ 连接。我面临着这样的问题

- 如果表格不存在，DataFrame 会在 HAWQ 中自动创建表格。

-记录摄取太慢。

- 间歇性地显示错误，例如"org.postgresql.util.PSQLException: ERROR: relation "table_name" already exists".

有人可以对此进行更新吗，我在独立机器的 HDP 沙箱中安装 HAWQ，但在完成一半之后，我坚持以下步骤。

尝试将 HDB 存储库添加到 Ambari 服务器，但使用的用户名和密码出现问题。

我使用的是沙盒提供的相同用户名和密码。

安装说明文章的参考链接 [失败点 5] - http://hdb.docs.pivotal.io/201/hdb/install/install-ambari.html

任何建议都受到高度赞赏。

我们已经安装了新的 gpdb 数据库。但是，当尝试连接 template0 数据库时。

我们尝试更新 FLAG

但是，它不允许更新 FLAG

我们有少量 greenplum DCA V1 和 V3。尝试在它们之间执行备份/恢复过程步骤。

作为 DCA Appliances 的新手。我不禁想以逻辑方式理解并行备份过程。

我们尝试 尝试进行并行备份。使用 gpcrondump/gpdbrestore。但不明白工作流程是如何执行的

问题是： 并行备份如何在主段 DCA 环境中从版本到版本。

我们有 5 个节点的 PHD3.0 hadoop 集群，使用安装在 rackspace 上的 ambari。我们必须迁移到谷歌云（GCP）。

但没有得到步骤如何进行以下操作

Q1：我如何将数据、元数据配置从旧机器迁移到新机器。（老机器版本是cantos 6.5到目标机器版本centos 6.5）

Q2 : 备份哪些组件和文件夹？命令是什么？

Q3：如何备份nameode和datanodes？

Q4 : 我们还需要备份 ambari 数据库吗？

任何帮助将不胜感激？

我对要加载到 HAWQ 的表的存储大小计算/估计有疑问？

我在 HIVE 中有一个 30MB 的表，我正在尝试使用 PXF 将其加载到 HAWQ 中，例如：create table t2 tablespace data as select * from hcatalog.default.afs_trvn_mktscn_population;

HAWQ 中的表占用了 369MB 的存储空间？不管我有多少 HAWQ 段以及 HAWQ DFS.replica 因子或 HDFS 复制因子是多少？在我的情况下，即使有 4 个 HAWQ 段或 1 个 HAWQ 段，加载后表的大小也是 369MB。

我可以理解最小块大小是 128MB，所以即使 30MB 也会使用最小 128MB，但为什么 > 300MB？

你能分享一些这方面的信息吗？