10

我有一个 http 客户端，它创建到主机的多个连接。我想设置它可以设置到特定主机的最大连接数。go 的 request.Transport 中没有这样的选项。我的代码看起来像

package main 

import (
  "fmt"
  "net/http"
  "net/url"
)

const (
  endpoint_url_fmt      = "https://blah.com/api1?%s"
)


func main() {

  transport := http.Transport{ DisableKeepAlives : false }

  outParams := url.Values{}
  outParams.Set("method", "write")
  outParams.Set("message", "BLAH")

  for {
    // Encode as part of URI.
    outboundRequest, err := http.NewRequest(
      "GET",
      fmt.Sprintf(endpoint_url_fmt, outParams.Encode()),
      nil
    )
    outboundRequest.Close = false
    _ , err = transport.RoundTrip(outboundRequest)
    if err != nil {
      fmt.Println(err)
    }
  }

}

我希望这会创建 1 个连接。正如我在 for 循环中调用它一样。但这会不断创建无限数量的连接。

使用 requests 库的类似 python 代码只创建一个连接。

#!/usr/bin/env python
import requests
endpoint_url_fmt      = "https://something.com/restserver.php"
params = {}
params['method'] = 'write'
params['category'] = category_errors_scuba
params['message'] = "blah"
while True:
  r = requests.get(endpoint_url_fmt, params = params)

由于某种原因，go 代码没有重用 http 连接。

编辑： go 代码需要关闭主体才能重用连接。

 resp , err = transport.RoundTrip(outboundRequest)
 resp.Close() //  This allows the connection to be reused
4

2 回答 2

18

基于OP的进一步澄清。默认客户端确实重用连接。

一定要关闭响应。

调用者在完成读取后应关闭 resp.Body。如果 resp.Body 没有关闭，客户端的底层 RoundTripper（通常是 Transport）可能无法重新使用到服务器的持久 TCP 连接来进行后续的“keep-alive”请求。

此外，我发现在调用 Close() 之前，我还需要阅读直到响应完成。

例如

res, _ := client.Do(req)
io.Copy(ioutil.Discard, res.Body)
res.Body.Close()

为了确保 http.Client 连接重用，请务必做两件事：

  • 阅读直到响应完成（即ioutil.ReadAll(resp.Body)）
  • 称呼Body.Close()

旧答案，对速率限制有用，但不是 OP 所追求的：

我认为通过 golang 1.1 http API 设置最大连接数是不可能的。这意味着如果您不小心，您可能会因大量 TCP 连接而自责（直到您用完文件描述符或其他任何东西）。

也就是说，您可以通过 time.Tick 限制为特定主机（以及因此出站请求和连接）调用 go 例程的速率。

例如：

import "time"

requests_per_second := 5
throttle := time.Tick(1000000000 / requests_per_second)

for i := 0; i < 16; i += 1 {
  <-throttle  
  go serveQueue()
}
于 2013-07-31T04:26:10.287 回答
1

有一些有趣的改进http.Transport：

// DisableKeepAlives, if true, disables HTTP keep-alives and
// will only use the connection to the server for a single
// HTTP request.
//
// This is unrelated to the similarly named TCP keep-alives.
DisableKeepAlives bool

// ...

// MaxIdleConns controls the maximum number of idle (keep-alive)
// connections across all hosts. Zero means no limit.
MaxIdleConns int // Go 1.7

// MaxIdleConnsPerHost, if non-zero, controls the maximum idle
// (keep-alive) connections to keep per-host. If zero,
// DefaultMaxIdleConnsPerHost is used.
MaxIdleConnsPerHost int

// MaxConnsPerHost optionally limits the total number of
// connections per host, including connections in the dialing,
// active, and idle states. On limit violation, dials will block.
//
// Zero means no limit.
MaxConnsPerHost int // Go 1.11
于 2020-01-22T08:22:11.330 回答