10

我知道如何使用 NextToken 转发 SimpleDB 数据。但是，究竟如何处理前一页？我在.NET 上，但我认为这并不重要。我对一般策略更感兴趣。

Mike Culver 的Amazon SimpleDB 简介网络研讨会提到使用了面包屑，但他没有在视频中实现它们。

编辑：视频提到了一个实现向后分页的示例项目，但视频在显示下载 URL 之前结束。我发现的一个示例项目没有处理分页。

4

4 回答 4

11

转到下一页时，您可以通过只允许“下一页”而不是任意分页来简化用例。您可以使用 LIMIT 子句在 SimpleDB 中执行此操作：

SELECT title, summary, votecount FROM posts WHERE userid = '000022656' LIMIT 25

您已经知道如何处理 NextToken，但是如果您使用这种策略，您可以通过存储下一个令牌的面包屑轨迹（例如在 Web 会话中）并使用先前的 NextToken 而不是重新发出查询来支持“上一页”随后的一个。

但是，在 SimpleDB 中处理任意分页的一般情况对于上一个和下一个是相同的。在一般情况下，用户可以点击任意页码，例如 5，而从未访问过第 4 或第 6 页。

您可以在 SimpleDB 中使用 NextToken 仅需要 WHERE 子句相同才能正常工作这一事实来处理此问题。因此，您通常可以分两步完成，而不是按顺序查询每个页面并拉下所有中间项目。

  1. 使用所需页面应该开始的限制值和 SELECT count(*) 而不是您想要的实际属性发出您的查询。
  2. 使用第一步中的 NextToken 来获取实际的页面数据，使用所需的属性和页面大小作为 LIMIT

所以在伪代码中：

int targetPage, pageSize;
...
int jumpLimit = pageSize * (targetPage - 1);
String query = "SELECT %1 FROM posts WHERE userid = '000022656' LIMIT %2";
String output = "title, summary, votecount";
Result temp = sdb.select(query, "count(*)", jumpLimit);
Result data = sdb.select(query, output, pageSize, temp.getToken());

其中 %1 和 %2 是字符串替换，“sdb.select()”是一个虚构的方法，其中包括字符串替换代码以及 SimpleDB 调用。

是否可以通过两次调用 SimpleDB（如代码所示）来完成此操作将取决于 WHERE 子句的复杂性和数据集的大小。上面的代码经过简化，如果查询运行时间超过 5 秒，则临时结果可能返回了部分计数。你真的很想把那条线放在一个循环中，直到达到正确的计数。为了使代码更真实一点，我将把它放在方法中并去掉字符串替换：

private Result fetchPage(String query, int targetPage)
{
    int pageSize = extractLimitValue(query);
    int skipLimit = pageSize * (targetPage - 1);
    String token = skipAhead(query, skipLimit);
    return sdb.select(query, token);
}

private String skipAhead(String query, int skipLimit)
{
    String tempQuery = replaceClause(query, "SELECT", "count(*)");
    int accumulatedCount = 0;
    String token = "";
    do {
        int tempLimit = skipLimit - accumulatedCount;
        tempQuery = replaceClause(tempQuery , "LIMIT", tempLimit + "");
        Result tempResult = sdb.select(query, token);
        token = tempResult.getToken();
        accumulatedCount += tempResult.getCount();
    } while (accumulatedCount < skipLimit);
    return token;
}

private int extractLimitValue(String query) {...}
private String replaceClause(String query, String clause, String value){...}

这是没有错误处理的一般想法，适用于任何任意页面，不包括第 1 页。

于 2009-12-02T13:05:44.543 回答
1

我记得在其中一个棕色袋子网络研讨会中，顺便提到了可以重新提交令牌并且您会得到相应的结果集。

我还没有尝试过，这只是一个想法，但是当你向前翻页时，如何构建一个令牌列表呢？然后，要返回，只需向后遍历列表并重新提交令牌（和 select 语句）。

于 2009-11-29T15:49:04.160 回答
0

我一直在获取令牌 - 这与 RequestId 是一样的吗？

我正在使用的 PHP SimpleDB 库似乎没有返回它。 http://sourceforge.net/projects/php-sdb/

找到此文档 http://docs.amazonwebservices.com/AmazonSimpleDB/2009-04-15/DeveloperGuide/index.html?SDB_API_Select.html

这似乎表明有一个 nextToken 元素，但在示例响应中，它显示 RequestId...

想通了——我们的 PHP 库确实将 nexttoken 从我们可以访问的地方抽象出来。钻进图书馆，找到了。

于 2010-01-17T01:12:46.867 回答
0

我已经使用官方 SimpleDB API 创建了上面建议的采样的 Java 版本，也许这对任何人都有用。

private static Set<String> getSdbAttributes(AmazonSimpleDBClient client,
            String domainName, int sampleSize) {
        if (!client.listDomains().getDomainNames().contains(domainName)) {
        throw new IllegalArgumentException("SimpleDB domain '" + domainName
                + "' not accessible from given client instance");
    }

    int domainCount = client.domainMetadata(
            new DomainMetadataRequest(domainName)).getItemCount();
    if (domainCount < sampleSize) {
        throw new IllegalArgumentException("SimpleDB domain '" + domainName
                + "' does not have enough entries for accurate sampling.");
    }

    int avgSkipCount = domainCount / sampleSize;
    int processedCount = 0;
    String nextToken = null;
    Set<String> attributeNames = new HashSet<String>();
    Random r = new Random();
    do {
        int nextSkipCount = r.nextInt(avgSkipCount * 2) + 1;

        SelectResult countResponse = client.select(new SelectRequest(
                "select count(*) from `" + domainName + "` limit "
                        + nextSkipCount).withNextToken(nextToken));

        nextToken = countResponse.getNextToken();

        processedCount += Integer.parseInt(countResponse.getItems().get(0)
                .getAttributes().get(0).getValue());

        SelectResult getResponse = client.select(new SelectRequest(
                "select * from `" + domainName + "` limit 1")
                .withNextToken(nextToken));

        nextToken = getResponse.getNextToken();

        processedCount++;

        if (getResponse.getItems().size() > 0) {
            for (Attribute a : getResponse.getItems().get(0)
                    .getAttributes()) {
                attributeNames.add(a.getName());
            }
        }
    } while (domainCount > processedCount);
    return attributeNames;
}
于 2012-02-14T14:28:35.443 回答