0

可能重复：
在 C 中将 HTTP 身份验证与 libcurl 一起用于 Twitter 流

我能够编写一个从流 API 接收推文流的 C 代码。但是下面的代码没有输出流（没有输出）。当 CURLOPT_URL 设置为 google.com 或 9gag.com 时，该代码有效。我想这个问题与接收到大量数据的稳定推文流有关。用于打印响应（流）的 write_func 回调函数可能无法正常工作，这就是为什么没有输出？我认为回调函数可能被 Twitter API 发送的巨大流所淹没。那么如果是这种情况，我应该如何编写正确的写回调函数呢？

你可能会问。我验证了流的接收工作正常，因为每当我执行代码时，我都会看到系统监视器的网络历史记录会随着接收到的字节数上升。

谢谢！

编码：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <curl/curl.h>

struct string {
  char *ptr;
  size_t len;
};

void init_string(struct string *s) {
  s->len = 0;
  s->ptr = malloc(s->len+1);
  if (s->ptr == NULL) {
    fprintf(stderr, "malloc() failed\n");
    exit(EXIT_FAILURE);
  }
  s->ptr[0] = '\0';
}

size_t writefunc(void *ptr, size_t size, size_t nmemb, struct string *s)
{
  size_t new_len = s->len + size*nmemb;

  s->ptr = realloc(s->ptr, new_len+1);
  if (s->ptr == NULL) {

    fprintf(stderr, "realloc() failed\n");
    exit(EXIT_FAILURE);
  }
  memcpy(s->ptr+s->len, ptr, size*nmemb);
  s->ptr[new_len] = '\0';
  s->len = new_len;

  return size*nmemb;
}

int main(void)
{
  CURL *curl;
  CURLcode res;

  curl = curl_easy_init();
  if(curl) {
    struct string s;
    init_string(&s);

    curl_easy_setopt(curl, CURLOPT_URL, "https://stream.twitter.com/1/statuses/sample.json");
    curl_easy_setopt(curl, CURLOPT_USERPWD, "neilmarion:password_here");
    curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, writefunc);
    curl_easy_setopt(curl, CURLOPT_WRITEDATA, &s); 
    res = curl_easy_perform(curl);

    printf("%s\n", s.ptr);
    free(s.ptr);

    /* always cleanup */
    curl_easy_cleanup(curl);
  }
  return 0;
}
4

1 回答 1

3

好的，我做了一些测试，似乎 URL 只是不断发送数据，它似乎没有完成。我在 15M 后将其杀死。但是，如果您将 print 语句放在回调或使用中strace，您可以看到它正常工作。你的字符串s一直在增长。

s因此，一种解决方案是将您的回调更改为打印并在达到一定大小后重新初始化。否则看起来程序最终会耗尽内存。因此，将您的回调更改为

size_t max_buffer = 10240;  // 10K
size_t writefunc(void *ptr, size_t size, size_t nmemb, struct string *s)
{
  size_t new_len = s->len + size*nmemb;

  s->ptr = realloc(s->ptr, new_len+1);
  if (s->ptr == NULL) {
    fprintf(stderr, "realloc() failed\n");
    exit(EXIT_FAILURE);
  }
  memcpy(s->ptr+s->len, ptr, size*nmemb);
  s->ptr[new_len] = '\0';
  s->len = new_len;
  // Begin newly added code
  if( s->len >= max_buffer )
  {
    printf("%s", s->ptr);
    fflush( stdout );
    free(s->ptr);
    initString( s );
  }
  // End newly added code
  return size*nmemb;
}

最后仍然保留打印。转储最后一位和尾随换行符。现在您有了一个缓冲解决方案，您可以查看一个不需要动态添加内存的更高效的实现。

于 2011-11-12T06:02:34.430 回答