问题标签 [hypertable]

我想知道我是否可以在 Hadoop 2.3.0（或 2.2.0）之上安装 Hypertable。我暂时不想使用 Cloudera，因为我是 Hadoop 新手，现在只想学习一件事。

我只是尝试在 hadoop 上安装 hypertable 遵循官方文档首先我在 CentOS 6.5-32bit 节点上以 persudo-distribute 模式部署 cdh4

然后按照hypertable官方文档在hadoop上安装hypertable

当我跑步时

获取 DfsBroker 没有出现错误

我检查 /opt/hypertable/0.9.7.16 中的 DfsBroker.hadoop.log 得到这个

但我 JAVA_HOME 已设置，我测试 java 运行正常

我尝试单独运行 jrun ，它没有提示 exec: java : not found

我在谷歌之后看到了类似的问题

但我已经使用了所有我能找到的解决方案

刚刚获得

所以如果有人能给我关于这个问题的提示，我将不胜感激

我试图做这样的事情：

从 mytable 中选择 column1、column2 where column1 = 'wathever';

但是我找不到与超表类似的东西，我了解架构并且它处理各个行，但我想知道这是否可能，我想按一列过滤但带来所有列族。

提前致谢

我必须以有效的压缩率将大量爬网和日志数据存储在 Datastore 中。

到目前为止，我尝试并安装了 Cassandra、Couchbase、Mysql 和 FlatFile 格式，并阅读了Google Big Table、Hypertable 和LevelDB File Layout的架构概述。

Cassandra 和 Couchbase 的磁盘大小约为未压缩 Mysql 数据库的 1/5，但我想要更好的结果。

所以我需要一个具有高压缩特性的简单数据存储，如 vertica、teradata、oracle 和 sqlserver 产品。（页面级压缩）

实际的 flatFile 数据集看起来像

每个文件大约有 400 个高冗余条目，每个大约 5kb 一个文件可以从 1722 KB 压缩到 39 KB，因此根据压缩块的大小，应该可以实现 44:1 到 100:1 的压缩比。

定义用例：

我必须每 30 秒轮询一次所有相关的 gas_station 网页/api 以获得最新的定价信息，因为不可能为每个加油站编写解析器，索引创建需要通用解决方案。使用包含所有 craweld 加油站页面的数据库，可以轻松开发通用解析器并进行回测。使用此原始数据模型，应避免通过损坏的特定转换器丢失数据。

使用“oil_type-gas_station-timestamp-content”之类的键，可以轻松高效地比较两个加油站的价格随时间变化。对于读取小于压缩块大小的时间序列，只需解压缩 2 到 4 个块。

因此，以下功能是最佳的：

• SSTables
• 可配置的压缩选项（级别、压缩引擎、块大小（从 64kb 到 10 MB））
• 范围扫描
• Java 绑定
• 列数据存储以实现更好的压缩

很高兴有：

• 复制
• 多主
• 写入法定人数 1
• 对数据进行前向和后向迭代。（比较两个时间序列）
• 可配置的副本分布
• 很少的依赖

问题：

Wich 免费数据库能够保存高冗余爬取数据的归档数据（只有几个字节变化），压缩好并且不会花费太多时间来查询随机记录。（与 mysql 归档格式相反，它必须解压缩整个表，直到请求的行）

也许有一个日志数据库，它能够索引很多日志行并在内部压缩它们？（logstash、fluentd、flume 的范围）

如果有人知道一些基准，关于这个主题的数字，这将有助于评估正确的技术。

我很高兴你的帮助！

首先我创建了一个表

最后我在表格中选择所有内容，它将显示如下：

它仅在一行中显示一个值它不能显示表中一行的所有值:(我如何在一行中选择它将显示该行的所有值在这种情况下我添加了 4 行但它显示8线

如果我知道我将存储什么样的数据（考虑到压缩），有没有办法估计行大小？

我正在看类似的东西

bson_id | 字符串（最多 200 个字符）| 整数32 | 整数32 | 整数32 | 布尔 | 布尔 | 日期时间 | 日期时间 | 日期时间 | 整数32

我正在尝试为大约 2 万亿条记录（如上述记录）以及大约 x20 的记录找到最佳的数据库解决方案

bson_id | bson_id

欢迎任何其他建议

Hypertable 生产准备好了吗？我可以在网上找到很少的信息。似乎每个人都使用 HBase 而不是 Hypertable 声称要快得多。

请告诉我是否可以在 windows 10 64bit 上的 xampp 上安装 hypertable 和 thrift 以及 hadoop 来测试站点。如果可能的话，请提供安装这些东西的分步指南。问候

我有一个 Java 语言的代码，我正在使用 Hypertable 的一个例子，但我有一个错误。

代码是：

输出是

我的问题是什么？？

我被要求在 python 的 HQL 中实现 select for update。我没有尝试过任何事情，因为我不知道我将如何去做。由于 select for update 在我们禁用 autocommit 之后获取行，并在那里通过锁定表中的特定行直到我们提交并启用 autocommit ，所以在我看来，在超表中实现有点怀疑。如何在 Hypertable 中锁定几行？

现在我有一张像

我还在开始学习 hypertable 。

一些帮助将不胜感激。