0

将数据列表从一台服务器单向同步到多个客户端的最有效带宽的方法是什么?

我有相当大的数据块(可能是 20,000 个 50 字节的记录),我需要通过 Internet 定期同步到一系列客户端(可能是 10,000 个客户端)。记录只能在服务器端添加、删除或更新。

4

2 回答 2

1

类似于bittorrent的东西?甚至使用bittorrent。或者也许发明一个围绕 bittorrent 的包装器。

(假设您为服务器而不是其他服务器上的带宽付费......)

于 2009-01-25T23:01:27.400 回答
0

好的,所以我们现在有了一些详细信息 - 每 3 天可能有 10 GB 的总(未压缩)数据,也就是说每月 100 GB。

如今,这实际上并不是一个相当大的数据块。你想节省谁的带宽——你的,还是你客户的?

数据可能很容易压缩吗?对于原始二进制数据,实现 50% 的压缩并不少见,如果数据恰好有很多重复的模式,那么 80%+ 是可能的。

也就是说,如果您确实需要一个可以转移更改的系统,我的想法是:

  1. 确保您有一个明确定义的主键字段 - 使用它作为您的键来识别每条记录
  2. 为每条记录记录一个时间戳,以说明它上次更改的时间
  3. 让每个客户告诉你它知道的最后一次更改的时间戳,这样你就可以计算增量
  4. 确保也可以进行完整下载,以防客户端不同步
于 2009-01-25T23:21:12.117 回答