5

我正在使用 Go、Revel WAF 和 Redis。

我必须在 Redis 中存储大型 json 数据（可能是 20MB）。

json.Unmarshal()大约需要 5 秒钟。有什么更好的方法来做到这一点？

我尝试了 JsonLib、encode/json、ffjson、megajson，但它们都不够快。

想过用groupcache，但是Json是实时更新的。

这是示例代码：

package main

import (
 "github.com/garyburd/redigo/redis"
  json "github.com/pquerna/ffjson/ffjson"
)

func main() {
  c, err := redis.Dial("tcp", ":6379")
  defer c.Close()
  pointTable, err := redis.String(c.Do("GET", "data"))
  var hashPoint map[string][]float64
  json.Unmarshal([]byte(pointTable), &hashPoint) //Problem!!!
}
4

3 回答 3

9

解析大型 JSON 数据似乎确实比它应该的要慢。找出原因并向 Go 作者提交补丁是值得的。

同时，如果您可以避免使用 JSON 并使用二进制格式，您不仅可以避免这个问题；您还将获得您的代码现在花费时间将数字的 ASCII 十进制表示解析为其二进制 IEEE 754 等效项（并且在这样做时可能会引入舍入错误。）

如果你的发送者和接收者都是用 Go 编写的，我建议使用 Go 的二进制格式：gob。

做一个快速测试，生成一个包含 2000 个条目的映射，每个条目有 1050 个简单的浮点数，给我 20 MB 的 JSON，在我的机器上解析需要 1.16 秒。

对于这些快速基准测试，我采取了三个运行中最好的一个，但我确保只测量实际的解析时间，t0 := time.Now()在 Unmarshal 调用之前并time.Now().Sub(t0)在它之后打印。

使用 GOB，相同的映射会产生 18 MB 的数据，解析需要 115 毫秒：
时间的十分之一。

您的结果将根据您那里有多少实际花车而有所不同。如果你的浮点数有很多有效数字，值得它们的 float64 表示，那么 20 MB 的 JSON 将包含比我的 200 万个浮点数少得多。在这种情况下，JSON 和 GOB 之间的差异将更加明显。

顺便说一句，这证明问题确实在于 JSON 解析器，而不在于要解析的数据量，也不在于要创建的内存结构（因为两个测试都在解析 ~ 20 MB 的数据并重新创建相同的浮点数切片。）用 JSON 中的字符串替换所有浮点数给了我 1.02 秒的解析时间，确认从字符串表示到二进制浮点数的转换确实需要一定的时间（与只是移动字节相比），但不是主要的罪魁祸首。

如果发送者和解析器都不是 Go，或者如果你想比 GOB 进一步压缩性能，你应该使用自己定制的二进制格式，或者使用协议缓冲区或手动使用“编码/二进制”和朋友。

于 2015-03-29T00:12:21.900 回答
0

试试https://github.com/json-iterator/go

与官方相比，我得到了 2 倍的解码速度提升，更多的好处是 jsoniter 的 API 与 encoding/json 兼容。

于 2019-11-20T04:39:46.560 回答
0

试试fastjson。它针对速度进行了优化，通常解析 JSON 的速度比标准的要快得多encoding/json。此外，fastjson不需要遵循 JSON 模式的结构 - 单个解析器可以解析具有不同模式的多个 JSON。

于 2018-05-29T22:11:55.100 回答