问题标签 [phoenix]

在阅读了这篇文章和这篇论文之后，我决定在 MapReduce 上为大型数据集实现分布式体渲染设置，作为我的本科论文工作。Hadoop是一个合理的选择吗？是不是 Java 会扼杀一些性能提升或使与 CUDA 的集成变得困难？Phoenix++ 会是更好的工作工具吗？

我已经在 3 台具有完全分布式模式的机器上配置了 hadoop1.0.3。在下面的第一台机器上，作业正在运行：

1) 4316 SecondaryNameNode 4006 NameNode 4159 DataNode 4619 TaskTracker 4425 JobTracker

2) 2794 TaskTracker 2672 DataNode

3) 3338 DataNode 3447 TaskTracker

现在，当我在其上运行简单的 map reduce 作业时，执行 map reducejob 需要更长的时间。所以我在 Hadoop 上安装了 HBASE 层。现在我在 3 个集群上具有以下 HBASE 进程。

1) 5115 HQuorumPeer 5198 HMaster 5408 HRegionServer

2) 3719 HRegionServer

3) 2719 HRegionServer

现在我按照说明安装了 Phoenix：

https://github.com/forcedotcom/phoenix#installation 但我不明白在哪里安装凤凰客户端？我安装在同一台主机上，但我无法调用以下命令。

./psql.sh master（动物园管理员名称） ../examples/web_stat.sql ../examples/web_stat.csv ../examples/web_stat_queries.sql

它给出以下错误：

运行 cmd ：

./jsvc64/jsvc64 -pidfile ./log/jsvc.pid -outfile ./log/out.txt -errfile ./log/error.txt -Xmx512m -Djava.util.Arrays.useLegacyMergeSort=true -cp :./tools /lib/ :./tools/ com.g2us.hbase.cmdlog.monitor.CmdLogHbase ./

SQL：

UPSERT INTO CMDLOG_20130818(游戏,roleid,otime,logtype,passport,subgame,cmdid,exception,moreinfo,pname_0,pname_1,pname_2) VALUES(?,?,?,?,?,?,?,?,?,?, ?,?)

upsert 90000 行数据，出现异常。

如何解决它。

我正在尝试通过phoenix连接hbase：首先，我添加到 hbase lib 目录。然后重新启动区域服务器，然后在 netbeans 中创建一个项目并添加到项目的类路径中。然后将下面的行添加到hbase 和 phoenix 中。 phoenix-2.jarphoenic-2-client.jarhbase.site.xml

我的hbase是pseodo分布式模式。最后我在netbeans中写了如下代码连接hbase：

但显示此错误：

请指导我..

为了连接到 hbase，我编写了以下代码：

但运行后给我这个错误：

我无法理解问题所在。我单独安装了 hbase 0.94.10 和 zookeeper 3.4.5，我不确定配置是否正确。你能指导并帮助我如何正确配置它们吗

I want to insert the out-put of my map-reduce job into a HBase table using HBase Bulk loading API LoadIncrementalHFiles.doBulkLoad(new Path(), hTable).

I am emitting the KeyValue data type from my mapper and then using the HFileOutputFormat to prepare my HFiles using its default reducer.

When I run my map-reduce job, it gets completed without any errors and it creates the outfile, however, the final step - inserting HFiles to HBase is not happening. I get the below error after my map-reduce completes:

But I can see the output directory containing:

I have no clue as to why my bulkloader is not picking the files from output directory.

Below is the code of my Map-Reduce driver class:

How can I figure out the wrong thing happening here which I avoiding my data insert to HBase?

我一直在尝试开发一个 web 应用程序，它通过 rest 获取数据并使用 phoenix 在 hbase 中插入相同的数据。我试图在 tomcat 上部署我的应用程序，它工作正常。但是在 jboss 上部署时会引发以下运行时异常。

引起：java.lang.RuntimeException: hbase-default.xml 文件似乎是旧版本的 HBase (null)，这个版本是 0.94.7 at org.apache.hadoop.hbase.HBaseConfiguration.checkDefaultsVersion(HBaseConfiguration.java :68）在 org.apache.hadoop.hbase.HBaseConfiguration.addHbaseResources(HBaseConfiguration.java:100) 在 org.apache.hadoop.hbase.HBaseConfiguration.create(HBaseConfiguration.java:111) 在 com.salesforce.phoenix.query。 ConfigurationFactory$ConfigurationFactoryImpl.getConfiguration(ConfigurationFactory.java:51) 在 com.salesforce.phoenix.query.QueryServicesOptions.withDefaults(QueryServicesOptions.java:99) 在 com.salesforce.phoenix.query.QueryServicesImpl.(QueryServicesImpl.java:44) 在com.salesforce.phoenix.jdbc.PhoenixDriver.(PhoenixDriver.java:67) at com.salesforce.phoenix.jdbc.PhoenixDriver.(PhoenixDriver.java:58) ... 11 更多

首先，我认为类路径有两个默认的 xml，它会抛出错误，因为这两个中的一个来自一些旧版本的 hbase jar。但是类路径没有 hbase jar。它只有一个phoenix-2.0.1-client.jar。之后我尝试了以下事情

1. 在 hbase-site.xml 中将“hbase.default.for.version.skip”设置为 true 并将其添加到类路径
2. 在 hbase-default.xml 中将“hbase.default.for.version.skip”设置为 true
3. 只是为了实验的缘故，我还尝试删除 hbase-default.xml。

到目前为止没有任何效果。结果是恒定的。我正在使用 cloudera hbase cdh 4.4 。任何帮助将不胜感激。提前致谢。

我已经通过 phoenix 在 hbase 中创建了表。为什么从 Phoenix 中删除 hbase 表后不删除它，反之亦然。？

为什么从 Phoenix 中删除表比直接从 Hbase 中删除表要花费更多时间？

我在 hbase 中创建了一个表（MyTable）并向其中添加了数据，然后尝试通过 phoenix 客户端访问。

在创建具有相同名称（MyTable）的虚拟表时，由于查询错误而出现异常。然后我发现即使发生异常，表也已创建。

无法访问、更改或删除 MyTable。我得到以下信息：

我尝试了以下方法，但无法删除凤凰映射。

• 删除 hbase 中的表并尝试 phoenix 中的所有查询
• 尝试在凤凰中重命名查询
• 重新启动 hbase 和 phoenix 客户端
• 在 phoenix 和 hbase 中重新创建了同一张表

我要将数据从 RDBMS 迁移到 HDFS hadoop 文件系统。来自 RDBMS 的数据将转换为文件并上传到 hadoop。我正在使用 MapR M7。是否可以将 MapR M7 与 Phoenix 集成？