scala - 有没有办法限制 Dispatch 收到的 HTTP 响应正文大小？

Question

我正在使用 Dispatch 来拉下很多我只需要前几个 K 的页面，这些页面有时是千兆字节。scala-dispatch (dispatch/reboot) 或者 HTTP 请求中是否有任何方法可以截断收到的正文？

（上下文：我正在从公共数据源读取 CSV 文件，并且只是试图获取字段名称（标题行）和一行示例数据。）

Answer 1

您可以使用>handler，它使您可以访问底层com.ning.http.client.Response实例。从那里开始，很简单：

import java.io._
import dispatch._, Defaults._
import com.ning.http.client.Response

def excerpt(bytes: Int) = {
  response: Response =>
    response.getResponseBodyExcerpt(100, "UTF-8")
}

def lines(count: Int) = {
  response: Response =>
    val stream = response.getResponseBodyAsStream
    val reader = new BufferedReader(new InputStreamReader(stream))
    Stream.continually(reader.readLine()).take(count).toList
}

val u = url("http://stackoverflow.com/")
Http(u > excerpt(100)).onComplete(println)
Http(u > lines(2)).onComplete(println)

您也可以尝试使用Rangeheader向服务器请求更小的字节间隔。这需要服务器支持，可以使用HEAD请求进行测试，然后查找Accept-Ranges: bytes响应标头。