问题标签 [bigtable]

我对使用 GAE 进行有效查询的数据模型建模有点陌生，但对 RDBMS 有广泛的了解。

这就是问题所在：我得到了大约一百万个术语（字符串），并且需要将关联的数值作为时间序列与每周数据点进行查询和比较。将其视为 X 轴上的时间图和显示数值度量的线性 Y 轴。

到目前为止，我在数据存储中获得了每个术语和每天的离散数据点，我正在寻找一种方法来按周聚合数据 并存储数据，以便我可以有效地查询数据存储。我正在考虑预先计算每个学期不同长度（4 周、5 周、6 周等）的时间序列，并将每个条目存储为{term, start_week, [time series]}

使用 RDBMS，我可以轻松地按周分组并以编程方式创建数据系列，无论是作为存储过程还是在应用程序后端。由于 GAE 限制和 BigTable 作为高度分布式系统的性质，这不是一个选项。

任何想法都受到高度赞赏！

是否有任何使用 Bigtable / Cassandra DB 架构的桥接/本机方法？

我们有

• 来自 Google 的 BigTable，
• Hadoop，由 Yahoo 积极贡献，
• 来自亚马逊的发电机

所有这些都朝着一个共同的目标——使数据管理尽可能可扩展。

通过可扩展性，我理解的是，当数据大小增加时，使用成本不应该急剧上升。

当数据量很大时，RDBMS 会很慢，因为间接数不变的增加会导致更多的 IO。

这些自定义可扩展的友好数据管理系统如何解决问题？

这是本文档中解释 Google BigTable 的图：

在我看来是一样的。超可扩展性是如何实现的？

这是来自Google BigTable 论文的截图

什么样的场景不需要像 Oracle 的重做 日志，而是需要在数据库中存储相同数据的多个版本？

专门来看这个例子，为什么我需要在我的数据库中存储多个版本的 html 页面？它不能作为备份，因为无论如何所有版本都不存在，只有其中一些版本存在（比如最后 5 个）。

看到应用程序库上的分页了吗？它有页码和一个随页码增加的“开始”参数。大概这个应用程序是在 GAE 上制作的。如果是这样，他们是如何进行这种分页的？ATM 我正在​​使用游标，但在 URL 中传递它们就像地狱一样丑陋。

关于使用 java 在 bigtable 上进行/优化全文搜索的任何见解？最佳实践之类的？你们是怎么做的？

我想了解 Django 和 Appengine 如何协同工作？

1. 首先，问题：这是一支优秀的球队吗？经验，什么是可能的，什么不是，会很棒。

2. 我还阅读了一些模块，例如 auth，admin 无法正常工作。但是这篇文章比较旧，所以也许有更新。

3. 在该教程中，必须导入 bforms。

那是什么？Django 模块？应用引擎？Python？大表？

4. Bigtable 与常规 SQL、MySQL 有何不同？

谢谢

我喜欢在其他 GAE 应用程序中处理保存在一个 GAE 应用程序中的数据。基本上在 Google App Engine (Python) 开发和生产中的多个 Web 应用程序之间共享数据存储。

如果可能的话： http://localhost:####/_ah/admin/datastore 我喜欢查看其他未运行和/或在一个屏幕上运行的应用程序中的数据？

谢谢您的帮助！

我是 google-app-engine 和 google datastore (bigtable) 的新手，我有一些疑问，其中的顺序可能是设计所需数据模型的最佳方法。

我需要创建一个层次模型，比如产品目录，每个域都有一些深入的子域。目前，产品结构的变化小于读取要求。葡萄酒示例：

• 原产地（托斯卡纳、普里奥拉特、阿尔萨斯）
• 酒厂（只属于一个产地）
• 酒（只属于一家酒厂）

所有的关系都是不相交和不完整的。此外，按照要求的顺序，我们可能需要为每种葡萄酒存储使用计数器（可能需要交易）

按照文档的顺序，似乎有不同的潜在解决方案：

• 祖宗管理。使用父关系和事务
• 伪祖先管理。使用 db.ListProperty(db.Key) 模拟祖先
• 参考属性。明确指定类之间的关系

但是为了获得葡萄酒的预期请求......有时按品种，有时按原产地，有时按酒厂......我担心使用这些结构的查询的行为（比如关系模型中的多个连接。如果你要求一个家族的产品...你需要加入产品树中的最终深度限定符并加入家族）

也许最好创建一些重复的信息（按照google团队建议的顺序：操作很昂贵，但存储不是，所以重复的内容不应该是主要问题）

其他类似问题的一些回答表明：

• 将所有父 ID 存储为字符串中的层次结构......就像路径属性
• 复制 Drink 实体与树中所有父母之间的关系...

有什么建议么？

嗨，威尔，

正如您在第二个示例中所表示的那样，我们的案例更像是一种严格的分层方法。并且查询是用于检索产品列表，仅检索一个是不常见的。

我们需要从 Origin、Winery 或 Variety 中检索所有葡萄酒（如果我们假设品种是严格层次树的另一个节点，这只是一个示例）

正如您所提到的，一种方法可能是包含路径属性：

• /origin/{id}/winery/{id}/variety/{id}

为了允许我从各种应用这样的查询中检索葡萄酒列表：

或者像这样来自一个起源：

谢谢！

当您更改应用程序引擎上的数据模型以添加新属性时，那些没有特定属性的条目将与<missing>在线数据查看器中的值一起列出。

我想知道如何编写查询来查找这些条目？