2

我正在制作一个需要获取分页结果的 JSON API 包装客户端，其中下一页的 URL 由上一页提供。为了减少共享相同响应格式的 100 多个实体的代码重复，我希望有一个客户端方法来获取和解组所有分页页面中的不同实体。

我目前在简化（伪）版本中的方法（没有错误等）：

type ListResponse struct {
    Data struct {
        Results []interface{} `json:"results"`
        Next    string        `json:"__next"`
    } `json:"d"`
}

func (c *Client) ListRequest(uri string) listResponse ListResponse {
    // Do a http request to uri and get the body
    body := []byte(`{ "d": { "__next": "URL", "results": []}}`)
    json.NewDecoder(body).Decode(&listResponse)
}

func (c *Client) ListRequestAll(uri string, v interface{}) {
    a := []interface{}
    f := c.ListRequest(uri)
    a = append(a, f.Data.Results...)

    var next = f.Data.Next
    for next != "" {
        r := c.ListRequest(next)
        a = append(a, r.Data.Results...)
        next = r.Data.Next
    }

    b, _ := json.Marshal(a)
    json.Unmarshal(b, v)
}

// Then in a method requesting all results for a single entity
var entities []Entity1
client.ListRequestAll("https://foo.bar/entities1.json", &entities)

// and somewehere else
var entities []Entity2
client.ListRequestAll("https://foo.bar/entities2.json", &entities)

然而问题是这种方法效率低下并且使用了太多的内存等，即首先在一般情况下解组ListResponse，结果为[]interface{}（查看下一个 URL 并将结果连接到单个切片中），然后将其编组以[]interface{}直接在后面解组的目标切片[]Entity1。

我也许可以使用该reflect包动态地制作这些实体的新切片，直接解组它们并在之后连接/附加它们，但是如果我理解正确，reflect除非绝对必要，否则我最好不要使用......

4

1 回答 1

1

看一下包装中的RawMessage类型。encoding/json它允许您将 json 值的解码推迟到以后。例如：

Results []json.RawMessage `json:"results"`

甚至...

Results json.RawMessage `json:"results"`

由于只是一个字节片，这将比您要解组json.RawMessage的中间体更有效。[]interface{}

至于第二部分如何在给定多页读取的情况下将这些组合成一个切片，您可以通过让调用者使用切片类型的切片来将该问题抛给调用者。

// Then in a method requesting all results for a single entity
var entityPages [][]Entity1
client.ListRequestAll("https://foo.bar/entities1.json", &entityPages)

但是，这仍然存在您的一般设计存在的无限内存消耗问题，因为您必须一次加载所有页面/项目。您可能需要考虑更改为 Open/Read 抽象，例如处理文件。您将有一些Open方法返回另一种类型，例如os.File，提供一种一次读取数据子集的方法，同时在内部请求页面并根据需要进行缓冲。

也许是这样的（未经测试）：

type PagedReader struct {
  c *Client

  buffer []json.RawMessage

  next string
}

func (r *PagedReader) getPage() {
  f := r.c.ListRequest(r.next)
  r.next = f.Data.Next
  r.buffer = append(r.buffer, f.Data.Results...)
}

func (r *PagedReader) ReadItems(output []interface{}) int {
  for len(output) > len(buffer) && r.next != "" {
    r.getPage()
  }

  n := 0
  for i:=0;i<len(output)&&i< len(r.buffer);i++ {
    json.Unmarshal(r.buffer[i], output[i] )
    n++
  }
  r.buffer = r.buffer[n:]
  return n
}
于 2018-08-30T06:49:10.560 回答