0

我正在尝试为 Gnip Streaming 设置 Curl 连接。我的目标是以文本形式下载所有传入数据，然后将其上传到数据库中。但是 curl 请求在一段时间后被丢弃。有什么方法可以设置流数据的流程。

curl --compressed -v -u <login>:<password> "https://gnip-stream.twitter.com/stream/sample10/accounts/UpSwell/publishers/twitter/prod.json?partition=1" --connect-time 900 -o output.txt

一段时间后，我得到“关闭连接”。

4

1 回答 1

2

看起来您的 curl 命令很好，但问题是您没有跟上流中的音量。这会导致服务器端的数据缓冲区完全填满，从而触发与服务器的“强制断开连接”。

基本建议是确保您有足够的带宽来传输该数据量。这些强制断开连接通常是由客户端应用程序中的处理瓶颈引起的。但是，您正在使用 curl，它非常有效......通常建议使用 curl 将客户端应用程序排除在循环之外并测试底层带宽......

看来您正在试用 decahose 产品...联系客户经理讨论下一步的步骤。

谢谢！

于 2017-10-30T16:26:30.050 回答