问题标签 [bigtable]

我正在使用 Google App Engine 创建一个网络应用程序。该应用程序有一个实体，用户将通过上传工具插入其记录。用户可以选择多达 5K 行（对象）的数据。我正在使用 DataNucleus 项目作为 JDO 实现。这是我将数据插入数据存储所采用的方法。

1. 从 CSV 读取数据并转换为实体对象并存储在列表中。
2. 该列表分为较小的对象组，例如大约 300 个/组。
3. 使用 memcache 将每个组序列化并存储在缓存中，并使用唯一的 id 作为键。
4. 对于每个组，都会创建一个任务并将其与密钥一起插入到队列中。每个任务调用一个 servlet，该 servlet 将此键作为输入参数，从内存中读取数据并将其插入数据存储并从内存中删除数据。

队列的最大速率为 2/min，桶大小为 1。我面临的问题是任务无法将所有 300 条记录插入数据存储。在 300 个中，插入的最大值约为 50 个。从 memcache 读取数据后，我已经验证了数据，并且能够从内存中取回所有存储的数据。我正在使用 PersistenceManager 的 makepersistent 方法将数据保存到 ds。有人可以告诉我可能是什么问题吗？

另外，我想知道，是否有更好的方法来处理批量插入/更新记录。我使用了 BulkInsert 工具。但在这种情况下，它就不能满足要求。

来自维基百科：

[NoSQL 数据库] 的著名生产实施包括 Google 的 BigTable、亚马逊的 Dynamo 和 Cassandra。

但是 Google 的 BigTable确实有一些 SQL 变体，称为GQL。

我错过了什么？

假设我想使用 Spring Framework 等开源框架制作一个 java webapp，并希望使其易于扩展（如 Google App 引擎）。

我有什么选择（除了在 GAE 中运行）？

1. 你会选择哪个 mvc-framework、db-persistence 框架？

2. 以数据库为瓶颈，有没有办法模仿 BigTable 在 Java Webapp 世界中的行为？

怎么把xtable的大表放在每一页的表头上？，这样更容易读表页之间的表。

我在 Sweave 中使用以下内容：

感谢您的回答

如何在xtable的表格中放置颜色间距？

我使用以下说明生成表格：

谢谢你的回答

这感觉像是一个愚蠢的问题，但是将键与 Big Table 中的值列表相关联的正确方法是什么？如果它是每个项目的列，那么列名称是什么？item-1、item-2 等，其中 item 是标识列表的前缀。如果是这种情况，我每次都必须以某种方式查询列表的长度 - 可能通过 item-size 列。

或者，我可以将列表存储为 JSON 数组，但这似乎很糟糕。想知道那里的专家是怎么想的？

来自关系数据库背景，我可以很快过渡到面向文档的数据库。许多最有价值的“关系”由文档的层次结构维护。NoSQL 的许多 DODB 变体也提供了非常丰富的查询语言。我想我理解这个 NoSQL 子集。

我正在寻找一个很好的参考来围绕 Azure 表存储、S3 和 BigTable 实现的数据库样式进行设计。我看到的所有示例似乎都是微不足道的实现。

你知道在这个领域有什么重要的设计处理吗？

如果我有像 categoryA -> subcategoryA--> book 关系这样的 pojo。子类别 A 是父类别 A 的子类别。在这种情况下，书是子类别 A 的子类别，所有内容都在同一个实体组内

如果我需要将“书”移动到另一个子类别-B。我需要删除 subcategoryA 和 categoryA，然后重新创建 categoryA -> subcategoryA--> without book 吗？并重新创建 categoryb -> subcategoryb--> book ,other-book, other-book3 ？

从例子

从示例http://sites.google.com/site/slim3appengine/ 我不明白为什么进行汇款需要 2 次不同的交易，因为这只是一个实体（同一实体）

在我的应用程序中，我有一个 Profile 实体，它有一些子实体，例如 ProfileAccount、ProfileLink 等。它们通常在事务中更新，例如

我用 db.run_in_transaction(update_profile, key) 调用它，但我需要有一个管理日志，记录更新配置文件时发生的所有事情，所以我创建了一个通用 AdminLog 实体，其中包含对配置文件的引用、时间戳和任意字符串数据。这将在稍后处理以检查自上次用户登录以来发生的情况。

问题是因为 AdminLog 与 Profile 不属于同一个实体组，我不能将它添加到同一个事务中，但另一方面，我认为将所有这些日志放在同一事务下并不聪明实体（个人资料），因为它不是基本数据。

我想到的一件事是配置文件上的 StringList，每次登录时都会清除它，所以这样我就可以拥有配置文件中发生的所有事情。您认为这是一个不错的方法，或者对于这种情况还有其他解决方法吗？

提前感谢您的任何提示