5

我想用它json.Encoder来编码大量数据流，而不是一次将所有数据加载到内存中。

// I want to marshal this
t := struct {
    Foo string

    // Bar is a stream of objects 
    // I don't want it all to be in memory at the same time.
    Bar chan string 
}{
    Foo: "Hello World",
    Bar: make(chan string),
}

// long stream of data
go func() {
    for _, x := range []string{"one", "two", "three"} {
        t.Bar <- x
    }
    close(t.Bar)
}()

我想也许 json 包内置了这个功能，但事实并非如此。

操场

// error: json: unsupported type: chan string
if err := json.NewEncoder(os.Stdout).Encode(&t); err != nil {
    log.Fatal(err)
}

我目前只是自己构建 json 字符串。

操场

w := os.Stdout
w.WriteString(`{ "Foo": "` + t.Foo + `", "Bar": [`)

for x := range t.Bar {
    _ = json.NewEncoder(w).Encode(x)
    w.WriteString(`,`)
}

w.WriteString(`]}`)

有一个更好的方法吗？

如果json.Marshaler是这样的，那将是微不足道的。

type Marshaler interface {
    MarshalJSON(io.Writer) error
}
4

2 回答 2

2

不幸的是，该encoding/json软件包还没有办法做到这一点。您现在（手动）正在做的事情是最好的方法，无需修改内置包。

如果要打补丁encoding/json，可以修改encoding/json/encode.goreflectValueQuoted中的函数

您可能希望专注于 Array 案例（Slice 有一个fallthrough）：

// Inside switch:
case reflect.Array:
    e.WriteByte('[')
    n := v.Len()
    for i := 0; i < n; i++ {
        if i > 0 {
            e.WriteByte(',')
        }
        e.reflectValue(v.Index(i))
    }
    e.WriteByte(']')

我假设你想以同样的方式对待频道。它看起来像这样：

// Inside switch:
case reflect.Chan:
    e.WriteByte('[')
    i := 0
    for {
        x, ok := v.Recv()
        if !ok {
            break
        }
        if i > 0 {
            e.WriteByte(',')
        }
        e.reflectValue(x)
        i++
    }
    e.WriteByte(']')

我对 中的频道没有做太多reflect，所以上面可能需要其他检查。

如果你最终走这条路，你总是可以提交一个补丁。

于 2013-08-08T20:32:31.323 回答
1

MarshalJSON您可以像这样在结构中的方法中解压缩通道：

type S struct {
    Foo string
    Bar chan string 
}

func (s *S) MarshalJSON() (b []byte, err error) {
    b, err := json.Marshal(s.Foo)

    if err != nil { return nil, err }

    for x := range s.Bar {
        tmp, err := json.Marshal(x)

        if err != nil { return nil, err }

        b = append(b, tmp...)
    }

    return
}
于 2013-08-08T19:31:56.707 回答