0

我正在尝试将所有文​​档从我的大型 couchdb 数据库中传输出来,并且在开始后不久似乎出现了严重的减速。用于获取文件的请求是:

url = 'http://<ip>:5984/marketwatch_weekly/_all_docs?include_docs=true&limit=4000&skip=%s' % skip

慢下来的打印如下。最右边的列是以秒为单位的请求完成时间。该列旁边的列是跳过量。

getting 2018-03-22 20:53:31.523599 16833 364000  89.11844325065613
getting 2018-03-22 20:55:02.698881 17478 368000  89.88783812522888
getting 2018-03-22 20:56:33.738854 19864 372000  90.0836386680603
getting 2018-03-22 20:57:56.869204 21151 376000  82.24904656410217
getting 2018-03-22 20:59:09.616417 23135 380000  72.10899209976196
getting 2018-03-22 21:00:18.940941 24875 384000  68.40224647521973
getting 2018-03-22 21:01:41.423078 25589 388000  81.92294359207153
getting 2018-03-22 21:11:47.979055 6395 392000  605.9177582263947
getting 2018-03-22 21:31:37.420515 1425 396000  1188.589150428772
getting 2018-03-22 21:46:11.717596 0 400000  873.0646567344666
getting 2018-03-22 22:02:38.413917 0 404000  985.686975479126
getting 2018-03-22 22:20:19.832703 0 408000  1060.2585520744324
getting 2018-03-22 22:39:29.712637 0 412000  1148.8915960788727
getting 2018-03-22 22:59:27.880014 0 416000  1197.4601407051086
getting 2018-03-22 23:21:09.851654 0 420000  1300.9372861385345
getting 2018-03-22 23:45:07.953314 0 424000  1436.5531301498413

想知道可能是什么原因造成的,以及纠正这个问题的任何提示?我应该将 include_docs 设置为 false 并请求每个文档我的 _id 吗?

我正在使用自己的数据传输脚本,因为我也在更改数据库的架构,所以我不能真正使用任何类型的复制工具。

谢谢!

4

2 回答 2

0

couchdb 压缩似乎已经成功了

于 2018-03-30T01:40:56.447 回答
0

我也遇到这种情况的一个原因是validate_doc_update在设计文档中使用。一旦将带有验证功能的设计文档添加到目标数据库中,每个文档都将通过此功能,这会大大减慢复制速度。

于 2018-03-30T06:20:32.757 回答