我们正在使用 ManiFoldCF documentum 连接器从 DCTM 存储库中爬取数据，并将爬取的数据写入 MongoDB。使用限制值 500 触发爬网。但是每分钟的爬网速度非常慢，连接器仅获取 170 个文档。安装 MCF 的服务器配置了足够的内存和 8 个逻辑核心 (CPU)。有人可以在这里帮助我们提高爬行速度吗？
问问题
72 次
1 回答
0
更好地调整爬行数据库（PostgreSQL）是一个好的开始。
您可以使用一些参考： https ://manifoldcf.apache.org/release/release-2.13/en_US/performance-tuning.html
于 2019-06-20T15:58:28.980 回答