1

在我们使用 gocb 的 go 代码中，我们正在查询一个返回 32k id 的视图。然后，我们执行批量查询（参见下面的代码），如CouchBase 博客文章中所述。然而，我们只得到部分结果。我们可以看到ruleset, _ := items[i].(*gocb.GetOp).Value.(*RuleSet)它只返回前 2048 个 id 的值。然后 ids 2049 - 11322 不包含值等等。我们的结果如下所示：

Line 1 Key: 12345678901234567890123456789012, Value: map[0.0.0.0/0:map[jsona:valueofjsona]]
...
Line 2018 Key: 12345678901234567890123456712345, Value: map[0.0.0.0/0:map[jsona:valueofjsona]]
Line 2019 Key: 12345678901234567890123456712345, Value: map[]
...
Line 11323 Key: 12345678901234567890123456712347, Value: map[jsonb:valueofjsonb]]

（上面的行是简化的，键与实际数据不匹配，值也不匹配。）

很大一部分请求的数据实际上并没有返回：

CB# grep '\[\]' result.out |wc -l
27042
CB# wc -l result.out
31988 rdmp.out

bucket.do在完成处理所有查询之前是否返回？我们查看了 API 代码，找不到解释。

知道如何解决这个问题吗？

type RuleSet struct {
    Rules map[string]interface{} "json:\"rules,\""
}

func DiffViaBulkQuery() {
  var items []gocb.BulkOp
  var row interface{}
  var cnt int = 0
  bucket := cbase.MyBucket()

// [...]
// add 600k entries to itemsget in a loop like 
// itemsGet = append(itemsGet, &gocb.GetOp{Key: key + "_" + strconv.Itoa(i), Value: &Doc{}})


// Perform the bulk operation to Get all documents
  err = bucket.Do(itemsGet)
  if err != nil {
    fmt.Println("ERRROR PERFORMING BULK GET:", err)
  }

// Print the output
  for i := 0; i < len(itemsGet); i++ {
    fmt.Println(itemsGet[i].(*gocb.GetOp).Key, itemsGet[i].(*gocb.GetOp).Value.(*Doc).Item)
  }

提前谢谢，托斯滕

4

1 回答 1

3

值得检查您正在执行的每个操作的错误值。你可以这样做op.Err，例如，那就是

    for i := 0; i < len(items); i++ {
    fmt.Println(items[i].(*gocb.GetOp).Key, items[i].(*gocb.GetOp).Value.(*Doc).Item, items[i].(*gocb.GetOp).Err)
}

我希望你会看到你queue overflowed遇到了 gocb 调度程序队列已满的错误，它默认为 2048 个项目的最大大小。解决方案通常是小批量执行工作，以免 gocb 过载。https://forums.couchbase.com/t/bulk-upsert-data-into-couchbase/17354/2上的示例存在类似问题

于 2018-11-29T18:42:24.337 回答