我使用 spark-submit 提交了带有依赖项的 jar 以激发火花。在我的 jar 的主要方法中,我想创建HttpAsyncCliens
实例并执行一些请求(apache http 异步客户端库):
val httpClient = HttpAsyncClients.custom.setMaxConnTotal(10).setMaxConnPerRoute(10).build
httpClient.start()
httpClient.execute(new HttpGet("https://google.com"), new FutureCallback[HttpResponse] {
/* callbacks */
})
它抛出异常:
线程“pool-1-thread-1”中的异常 java.lang.NoSuchMethodError: org.apache.http.util.Asserts.check(ZLjava/lang/String;Ljava/lang/Object;)V at org.apache.http .impl.nio.reactor.AbstractMultiworkerIOReactor.execute(AbstractMultiworkerIOReactor.java:315) 在 org.apache.http.impl.nio.conn.PoolingNHttpClientConnectionManager.execute(PoolingNHttpClientConnectionManager.java:191) 在 org.apache.http.impl.nio .client.CloseableHttpAsyncClientBase$1.run(CloseableHttpAsyncClientBase.java:64) at java.lang.Thread.run(Thread.java:745) 线程“main”中的异常 java.lang.NoSuchMethodError: org.apache.http.util.Asserts .check(ZLjava/lang/String;Ljava/lang/Object;)V 在 org.apache.http.impl.nio.client.CloseableHttpAsyncClientBase.ensureRunning(CloseableHttpAsyncClientBase.java:90) 在 org.apache.http.impl.nio.client.CloseableHttpAsyncClient.execute(CloseableHttpAsyncClient.java:74) 在 org.apache.http.impl.nio.client.InternalHttpAsyncClient.execute(InternalHttpAsyncClient.java:123) 在 org .apache.http.impl.nio.client.CloseableHttpAsyncClient.execute(CloseableHttpAsyncClient.java:107) 在 org.apache.http.impl.nio.client.CloseableHttpAsyncClient.execute(CloseableHttpAsyncClient.java:91) 在 spark.Application$。 main(Application.scala:37) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 在 sun.reflect 的 spark.Application.main(Application.scala) java.lang.reflect 中的 .DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)。Method.invoke(Method.java:498) 在 org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:731) 在 org.apache.spark.deploy。 SparkSubmit$.doRunMain$1(SparkSubmit.scala:181) at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:206) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala: 121) 在 org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)121) 在 org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)121) 在 org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
我的 jar 中似乎没有 http-core 依赖项,但我可以org.apache.http.util.Asserts.check(ZLjava/lang/String;Ljava/lang/Object;)V
在 http 客户端创建和请求之前或之后在代码中调用此方法 ():
org.apache.http.util.Asserts.check(true, "test", "test2") // it produces no exception
val httpClient = HttpAsyncClients.custom.setMaxConnTotal(10).setMaxConnPerRoute(10).build
httpClient.start()
httpClient.execute(new HttpGet("https://google.com"), new FutureCallback[HttpResponse] {
/* callbacks */
}) // it produces exception
如果我可以从代码中的同一类路径调用此方法,为什么会得到 NoSuchMethodError?
Apache httpasyncclient v4.1