问题标签 [hbase]

我正在开发一个网络爬虫，哪个适合存储数据？Cassandra 或 Hadoop Hive 或 MySQL？为什么？我的 MySQL 数据库中有过去 6 个月的 1TB 数据，我需要为它们编制索引，我需要尽快在我的搜索中输出，正如我想的那样，它会存储更多的数据，比如 10 Peta Byes，因为我的爬虫运行速度很快，我需要快速进行读/写操作，我需要将它集成到我的 PHP 应用程序中

我有一个问题可以用以下场景来最好地描述。

假设我有三个表 BaseCategory、Category 和 products。如果我在考虑 RDBMS，那么这些表之间的关系是

1- 一个 BaseCategory 有很多类别 2- 一个类别有很多产品。

现在我正在考虑将其转换为 HBase。谁能帮助我如何将这些关系映射到 HBase 中？

我正在尝试使用两个SingleColumnValueFilter对象从 HBase 表中过滤行，以带回该列的长值范围内的所有记录。根据 SingleColumnValueFilter 的文档，除非您将自己的比较器传递给它，否则它会对列值进行字典比较。该 api 显示 SingleColumnValueFilter 采用WritableByteArrayComparable作为实现此目的的一种方式。

我编写了一个扩展 WritableByteArrayComparable 的类并覆盖了 compare 方法。

我正在使用以下方法设置过滤器：

但我看到以下异常：

在网络上查看此执行的原因的共识是访问 resultScanner.next() 的代码花费太长时间导致对 regionServer 的租约超时，但此异常之前被抛出

返回一个我可以遍历的 ResultScanner。

有没有人知道或知道使用具有 SingleColumnValueFilter 的自定义比较器的示例，或者对我做错了什么有任何见解？

在假期中，我阅读了 Pat Helland 的“超越交易的生活”（是的，假期真是太好了 :)。简而言之，它主张将事务的范围限制在单个实体中，然后使用能够更新实体或取消任务的“活动”组，只要发生会使该任务无效的更改。

（例如，装运订单 A 需要一定数量的项目 1。装运订单和项目作为实体存储并有自己的活动。装运订单 B 在 A 完成之前与最后一个项目 1 一起装运。项目 1 的活动取消装运订单 A .)

我以为我正在打印 Dynamo 纸，所以如果我在这里将两者混为一谈，请原谅我。我见过不少受 Dynamo 和 BigTable 影响的“NoSQL”项目，尤其是它们如何通过键和分区数据来处理实体。我想知道这个 Entity-Message-Activity 模型是否影响了其中的任何一个？

或者，更具体地说，如果我在 HBase、Cassandra、Riak 等中有一个跨越多个实体的操作，我是否需要自己实现一个 Activity（作为应用程序中的更多设计模式） ，还是有某种现有的框架？还是他们完全做了其他事情，使整个问题变得毫无意义？

谢谢！

存在哪些适用于 Ruby 的 HBase ORM/适配器？哪些是最好的？为什么？

我只是想知道 hbase、cassandra、couchdb 和 monogodb 之间是否存在根本区别？换句话说，他们是否都在完全相同的市场上竞争并试图解决完全相同的问题。或者它们最适合不同的场景？

这一切都引出了一个问题，我应该在什么时候选择。口味问题？

谢谢，

费德里科

我正在研究一个将在云上运行的搜索引擎设计。我们才刚刚开始，对 Hdoop 了解不多。谁能告诉 HBase、MapReduce 和 HDFS 是否可以在安装并运行 Hdoop 的单台机器上工作？

MongoDB（基于文档）、HBase（基于列）和 Neo4j（对象图）的优缺点是什么？

我特别有兴趣了解每个案例的一些典型用例。

图可以比其他方法更好地解决问题的好例子有哪些？

也许任何 Slideshare 或 Scribd 值得演示？

如果我的数据是关系型的（出版商-作者-书籍、协会-团队-玩家），我们可以使用像 HBase 或 MongoDB 这样的 NoSQL 系统来存储数据吗？

（我知道这听起来像是一个愚蠢的问题，但我只是在学习:)）

我知道你可以在非分布式模式下启动 hbase。从我的阅读中不清楚在生产中使用它是否实用，范围从一个节点到几个节点，再到一个成熟的集群。另一种方法是抽象出一个接口并在小案例中加入一些更简单的东西。有没有人在扩展范围的低端部署 hbase 的经验？