5

这是一个常见的问题,但谷歌搜索会产生很多废话。

随着数据量越来越高,以及处理能力和云计算能力,我们见证了对快速数据传输技术的日益增长的需求,这些技术能够通过在不同的服务器上传播/移动/共享数据来释放所有这些可用数据的力量/客户。

在我们的例子中,我们正在记录实时二进制数据(每天 50 Gig),我们需要每天向订阅者上传/下载它(是的,每个订阅服务器在本地都需要这些数据,用于计算和各种数据分析的东西)

所以简而言之,今天有什么选择可以在远程 Windows 服务器(VPS、云,具有“相当”一致的带宽 -(光纤放在一边)之间真正快速地传输许多 Gigs 数据)

这是一个悬而未决的问题。无论协议如何,每个想法都受到欢迎。

4

1 回答 1

3

通过网络发送和接收数据的挑战是多方面的。

  1. 网络带宽是最大的限制因素,在应用程序级别您几乎无能为力(除了偶尔压缩数据,即使在这种情况下,压缩率也决定了增益)。所以更快的网络是首选。

  2. 某些协议更适合传输某些类型的文件/数据。例如 http 是一个基于文本的协议,并不适合二进制和大内容。但由于它是最流行的网络协议,需要通过网络发送二进制内容,因此编码和分块等技术已经发展。如果您的数据按 GB 顺序排列,那么HTTP确实不是您的选择。

  3. FTP是用于通过网络传输文件的最流行的协议,它专门用于传输文件。有几个 FTP 扩展,如GridFTPbbftp,它们是专门为大数据传输而设计的。

  4. BitTorrents 是另一个可以探索的选项。Facebook 使用 BitTorrent 将二进制文件推送到服务器(数以万计)。

你的问题是非常开放的,我受到我的经验的限制:)。这是我发现的大数据传输交易的链接。希望这对您有所帮助。

于 2012-07-19T13:56:50.230 回答