2

作为容量和性能测试的一部分，我正在尝试使用 java 线程并行执行多个 gremlin 请求（图遍历）。它工作正常较少的线程数。

当我增加线程数（比如 500）时，我收到以下错误

线程“Thread-34”中的异常 java.lang.RuntimeException：java.lang.RuntimeException：java.util.concurrent.TimeoutException：等待可用主机超时。在 org.apache.tinkerpop.gremlin.driver.Client.submit(Client.java:146) 在 com.tests.java.titan.Vertices.exists(Vertices.java:37) 在 com.tests.java.titan.Complex .searchNodesRelatedByRelation(Complex.java:110) at com.tests.java.perfTests.TitanThread.run(ParallelGraphTraversal.java:112) 原因：java.lang.RuntimeException: java.util.concurrent.TimeoutException: 超时等待可用的主机。在 org.apache.tinkerpop.gremlin.driver.Client.submitAsync(Client.java:194) 在 org.apache.tinkerpop.gremlin.driver.Client.submitAsync(Client.java:174) 在 org.apache.tinkerpop.gremlin .driver.Client。

我尝试将 threadPoolWorker 的值从 1 增加到 2，将 gremlinPool 从 8 增加到 16（在文件 gremlin-server.yaml 中）。但我没有注意到任何区别。

有人遇到过这个问题吗？您能否告诉我可能的最大同时连接数是否有限制？

我们的环境：CDH 5.7.1、Titan 1.1.0-SNAPSHOT、Solr 4.10.3、HBase 1.2.0、titan-tp3-driver 用于创建与 gremlin 服务器的远程连接并用于查询

4

1 回答 1

5

服务器上的gremlinPool设置往往受到限制，Runtime.availableProcessors()因此使数字大于该数字通常没有意义。服务器将支持的请求数量在某种程度上取决于您执行的遍历类型。我可以想象这样的情况，您发送一系列运行时间较长的请求，这些请求可能会占用大量gremlinPool线程，从而减慢服务器本身的脚本处理能力。Gremlin Server 可能会继续接受请求，将它们存储在队列中以便在它们到达时进行处理，但它们将需要更长的时间来处理。

这种情况本身不应导致此错误，但驱动程序的默认设置可能不足以满足您的要求。驱动程序有很多设置来控制到服务器的消息流。如果特定主机的驱动程序状态超出这些设置的边界，它将忽略该主机并寻找另一个主机。例如，如果connectionPool.maxInProcessPerConnection超过了 并且不能添加额外的连接，因为它也被最大化了，那么在驱动程序选择下一个要发送消息的主机的过程中，该主机将被忽略。这样，特定主机就不会因客户端的请求而过载。

在您的情况下，我假设您的配置中没有其他主机，因此没有其他地方可以发送这些请求，驱动程序会尝试等待连接以释放自身。如果我们考虑我们的示例，那么它会等待处理中的请求数低于connectionPool.maxInProcessPerConnection。司机要等多久？只要connectionPool.maxWaitForConnection. 如果超过该时间，那么您将收到您所看到的错误消息。

于 2017-01-16T00:40:56.010 回答