1

https://cloud.google.com/bigtable/docs/go/cbt-reference

如在此参考中,我尝试了以下命令

cbt count <table>

三个不同的表。

对于其中一个,我得到了我的预期:行数,略低于 1M。

对于第二个表,我收到以下错误:

[~]$ cbt count prod.userprofile
2016/10/23 22:47:48 Reading rows: rpc error: code = 4 desc = Error while reading table 'projects/focal-elf-631/instances/campaign-stat/tables/prod.userprofile'
[~]$ cbt count prod.userprofile
2016/10/23 23:00:23 Reading rows: rpc error: code = 4 desc = Error while reading table 'projects/focal-elf-631/instances/campaign-stat/tables/prod.userprofile'

我尝试了几次,但每次都得到相同的错误。

对于最后一个,我得到了一个不同的错误(错误代码与上面相同,但其描述不同):

[~]$ cbt count prod.appprofile
2016/10/23 22:45:17 Reading rows: rpc error: code = 4 desc = Error while reading table 'projects/focal-elf-631/instances/campaign-stat/tables/prod.appprofile' : Response was not consumed in time; terminating connection. (Possible causes: row size > 256MB, slow client data read, and network problems)
[~]$ cbt count prod.appprofile
2016/10/23 23:11:10 Reading rows: rpc error: code = 4 desc = Error while reading table 'projects/focal-elf-631/instances/campaign-stat/tables/prod.appprofile' : Response was not consumed in time; terminating connection. (Possible causes: row size > 256MB, slow client data read, and network problems)

我也尝试了几次,没有任何改变。

我用“rpc 错误代码 4”作为关键字在 stackoverflow 上搜索和搜索,但没有找到任何有用的东西。

我真的很好奇为什么这个命令会失败,以及我能做些什么来解决这个问题(顺便说一下,这两个表正在 24/7 生产中使用,我们有几十个大表节点工作得很好,所以我不要认为它与带宽或QPS有关)。

任何帮助将不胜感激。

4

2 回答 2

3

计算一张大表需要从 Bigtable 的每一行中读取一些内容。不存在仅获取表示计数的单个值的概念。

不幸的是,这类问题需要类似 map/reduce 的东西。幸运的是,使用 Dataflow进行计数非常简单。

于 2016-10-25T23:51:24.127 回答
0

作为替代方案(虽然不是最好的)是使用原子计数器,即:

  1. 快乐基地:https ://google-cloud-python-happybase.readthedocs.io/en/latest/happybase-table.html#google.cloud.happybase.table.Table.counter_inc
  2. 原生 API:https ://googlecloudplatform.github.io/google-cloud-python/stable/bigtable-row.html#google.cloud.bigtable.row.AppendRow.increment_cell_value

如果您在某些情况下将第二个表设计为计数器的二级索引,则它可以具有良好的性能(如果您不通过同时读取和写入来破坏计数器,或者由于热点而陷入繁重的计数器 r/w)。

尽管如此,正如@solomon-duskis 提出的那样,Map/Reduce 无疑是一个更强大的解决方案。

于 2017-06-12T18:23:09.900 回答