我在 Cassandra 和 Elasticsearch 上使用 TITAN-0.4.3、REXSTER 2.4。我的用例需要一次将顶点和边批量上传到图中。现在我在添加每个顶点+边后调用 commit() 。我通过不同的提交频率运行了一些测试,比如每 10K、每 1000 和每 100,上传速度变化很大。我想如何才能达到最佳提交频率,以及它基于什么参数?
有什么建议可以提高我的用例的性能吗?DB的大小大约是10M个顶点。
我在 Cassandra 和 Elasticsearch 上使用 TITAN-0.4.3、REXSTER 2.4。我的用例需要一次将顶点和边批量上传到图中。现在我在添加每个顶点+边后调用 commit() 。我通过不同的提交频率运行了一些测试,比如每 10K、每 1000 和每 100,上传速度变化很大。我想如何才能达到最佳提交频率,以及它基于什么参数?
有什么建议可以提高我的用例的性能吗?DB的大小大约是10M个顶点。
我不太确定我是否遇到过代表最佳提交频率的幻数。它似乎在很大程度上取决于数据加载策略。我倾向于从 10000 作为提交大小开始,然后从那里开始。不幸的是,得出这个数字通常需要更多的艺术而不是科学。
但是,您可以通过缓存通常用于减少索引查找的顶点、对数据进行预排序以尝试将这些顶点保留在缓存中、尽可能关闭锁定等方式来加快加载速度。如果您还没有阅读“十的幂”博客文章系列,第一部分可能会有所帮助,因为它解决了您的图形大小的策略。