问题标签 [hawq]

当我停止一个仍然连接到某些会话的 HAWQ 实例时，它不能用“hawq stop -a”停止。

那么“hawq stop -M immediate”和“hawq stop -M fast”有什么区别呢？

我可以配置所有 HAWQ 段实例的可用内存量以及每个段的可用内存量吗？

在HAWQ中，资源管理器是如何获取资源的？用户可以指定什么样的资源粒度？

查询执行器进程在段上创建以执行查询。当我进行查询时，我可以看到有效的 QE。但是当查询完成时，它们仍然处于空闲状态。HAWQ 是否在查询完成后重用 QE 进程？

hawq 和其他数据库支持的 pl 语言有什么区别？我想比较 hawq 和其他数据库支持的 pl 语言。hawq 支持的不仅仅是一些数据库吗？或者hawq将来会支持更多吗？

如果我 kill -QUIT 主资源管理器进程，它会重新启动然后正常运行。但是，如果我杀死 -ABRT 主资源管理器进程，它会重新启动，但 HAWQ 上的进程会重新启动。那么HAWQ是如何处理不同的kill信号的呢？

使用 HDP 2.4 和 HAWQ 2.0

想要将保存在 HDFS 路径中的 json 数据读取到 HAWQ 外部表中？

按照以下步骤将新的 json 插件添加到 PXF 并读取数据。

1. 从https://bintray.com/big-data/maven/pxf-plugins/view#下载插件“json-pxf-ext-3.0.1.0-1.jar”

2. 将插件复制到路径 /usr/lib/pxf 中。

3. 创建外部表

   CREATE EXTERNAL TABLE ext_json_mytestfile ( created_at TEXT, id_str TEXT, text TEXT, source TEXT, "user.id" INTEGER, "user.location" TEXT, "coordinates.type" TEXT, "coordinates.coordinates[0]" DOUBLE PRECISION, "坐标.coordinates[1]" 双精度) 位置 ('pxf://localhost:51200/tmp/hawq_test.json' '?FRAGMENTER=org.apache.hawq.pxf.plugins.hdfs.HdfsDataFragmenter' '&ACCESSOR=org. apache.hawq.pxf.plugins.json.JsonAccessor' '&RESOLVER=org.apache.hawq.pxf.plugins.json.JsonResolver' '&ANALYZER=org.apache.hawq.pxf.plugins.hdfs.HdfsAnalyzer') FORMAT 'CUSTOM ' (FORMATTER='pxfwritable_import') 将错误记录到 err_json_mytestfile 段拒绝限制 10 行；

当执行上述DDL表创建成功。之后尝试执行选择查询

但是出现错误：-

错误：来自'localhost：51200'的远程组件错误（500）：类型异常报告消息java.lang.ClassNotFoundException：org.apache.hawq.pxf.plugins.json.JsonAccessor描述服务器遇到内部错误，阻止它完成这个请求。异常 javax.servlet.ServletException: java.lang.ClassNotFoundException: org.apache.hawq.pxf.plugins.json.JsonAccessor (libchurl.c:878) (seg4 sandbox.hortonworks.com:40000 pid=117710) (dispatcher.c :1801) 详细信息：外部表 ext_json_mytestfile

任何帮助将非常感激。

众所周知，如果一个查询请求资源管理器获取资源，但无法获取足够的资源（低于最小的 vseg 数量），它仍然会在下一轮请求资源。例如，如果一个查询第一次询问 1000 个 vseg，但它只得到 20 个 vseg。由于查询可以运行的最小 vseg 数是 100，下次它会询问 80 个 vseg 并始终保留 20 个 vseg？

HAWQ 中的查询计划可以拆分为多个可以独立运行的切片。HAWQ 如何将查询计划拆分为切片？

众所周知，HAWQ 可以在 YARN 中注册，通过 YARN 获取资源。我们可以指定 HAWQ 段节点使用的资源。YARN 是否管理 HAWQ 主节点？