问题标签 [bigtable]

显然，BigTable 架构的原因与当您处理 Google 必须处理的大量服务器时难以扩展关系数据库有关。

但从技术上讲，究竟是什么让关系数据库难以扩展？

在大公司的企业数据中心，他们似乎能够成功地做到这一点，所以我想知道为什么不能简单地以更大的数量级做到这一点，以便在谷歌的服务器上进行扩展。

什么是大表。是否需要任何身份验证才能在 bigtable 中创建表。数据将存储在哪里。可以查看表格。我们可以查看其他人创建的bigtable中的所有表。

对不起，如果这个问题有点主观。我不熟悉“可以存储”、“分布式存储”或类似的一些概念。我真的很想知道他们有什么共同点，并想了解所有这些。如果我想写一个类似这样的产品，我需要准备什么？

In BigTable/GFS and Cassandra terminology, what is the definition of a SSTable?

在谷歌的大表上下文中，提交日志是什么意思？提交日志有什么用？

我正在寻找解决方案来存储大量信息，消耗更少的磁盘空间。

信息结构很简单，查询也很简单。我查看了诸如 Apache Cassandra 和关系数据库之类的解决方案，但找不到提到磁盘使用情况的比较。

任何关于此的想法都会很棒。

我有 MySQL 数据库，在其中存储以下 BLOB（包含 JSON 对象）和 ID（对于此 JSON 对象）。JSON 对象包含很多不同的信息。比如说，“城市：洛杉矶”和“州：加利福尼亚”。

目前大约有 50 万条这样的记录，但它们正在增长。而且每个 JSON 对象都很大。

我的目标是在 MySQL 数据库中进行搜索（实时）。说，我想搜索所有“状态”到“加利福尼亚”和“城市”到“旧金山”的 JSON 对象。

我想利用 Hadoop 来完成这项任务。我的想法是会有“工作”，它从 MySQL 中获取 100 条记录（行），根据给定的搜索条件验证它们，返回符合条件的那些（ID）。

优点缺点？我知道有人可能认为我应该为此使用简单的 SQL 功能，但问题是 JSON 对象结构非常“重”，如果我把它作为 SQL 模式，将至少有 3-5 个表连接，其中（我试过了，真的）让人很头疼，而且构建所有正确的索引占用 RAM 的速度比我想象的要快。;-) 即便如此，必须分析每个 SQL 查询以使用索引，否则使用全扫描它确实很痛苦。有了这样的结构，我们唯一的“向上”方式就是垂直缩放。但我不确定这对我来说是不是最好的选择，因为我看到 JSON 对象将如何增长（数据结构），而且我看到它们的数量也会增长。:-)

帮助？有人可以指出如何做到这一点的简单例子吗？这有意义吗？我错过了什么重要的东西吗？

谢谢你。

我有一个很大的表来存储电子邮件中包含的单词

表包含大约 100M 行
mwr_message_id 是消息的 FK 表
mwr_word_id 是单词的 FK 表
mwr_count 是消息 mwr_message_id 中单词 mwr_word_id 的出现次数

要计算最常用的单词，我使用以下查询

几乎永远运行（在测试服务器上超过半小时）

我能做些什么来“加速”查询（除了添加更多的内存、更多的 CPU、更快的磁盘）？

提前谢谢
你

PS解释结果：

我需要上传一个 .csv 文件并将记录保存在 bigtable 中。我的应用程序成功解析了 csv 文件中的 200 条记录并保存到表中。

这是我保存数据的代码。

但是当没有记录增长时，它会给出超时错误。

csv 文件最多可包含 800 条记录。是否可以在 App-Engine 中做到这一点？

（类似于批量更新）

我想在使用 RPC 的 GWT 呈现页面中显示我存储为 Blob 的图像。我不想使用 servlet，因为这样加载图像是同步的，如果我有很多图像会减慢页面加载时间。有任何想法吗？