java - Spark Job Server：“服务器无法及时响应您的请求”

Question

我正在使用 Spark Job Server 运行 Spark 作业，它运行良好。但是当我尝试执行一项大工作（需要超过 40 秒）时，我收到此错误：

The server was not able to produce a timely response to your request.

是否需要一些配置才能等待服务器回答？我该怎么办？

谢谢

score 7 · Accepted Answer

您可以通过同步作业提交来达到几种不同的超时。你的来自 Spray-can 服务器。您可以通过conf文件对其进行配置：

spray.can.server {
      idle-timeout = <set desired timeout>
      request-timeout = <set desired timeout>
}

您可以将这两个值都设置为infinite完全禁用这些超时。

一般来说，我观察到至少有 3 种常见的不同超时，它们可以在作业完成之前返回您的请求：

基于 Akka 的询问超时。如果同步作业未在 X 秒之前完成，将返回带有“错误”状态的 JSON 响应。SJS 中的默认值为 10 秒，但您可以通过将timeout=Y参数传递给您的POST /jobs请求来覆盖它。
喷罐服务器超时：idle-timeout, request-timeout. 将返回默认的喷雾响应，使其更难捕捉。它们分别默认为 60 和 40 秒。
另一个超时可能来自您的客户端 REST 库...其中一些配置默认值以禁用该层上的任何超时，其中一些可能会考虑服务器的超时并根据该配置配置自己的行为...例如，一旦您禁用上面的超时 #2，C++ REST SDK 库就会启动 30 秒的 WinHTTP 超时，而在 #2 到位的情况下，它将等待 40 秒...

score 1 · Accepted Answer

在您的 Rest 调用中，将 (sync=false) 放在 URL 的末尾。类似于http://server:8090/jobs?classPath= .... &sync=false最后。它将在服务器上启动作业并为您提供 JobId。

然后可以使用 JobId 来获取结果：

如果该作业未完成，它将指示状态为 RUNNING。如果完成，它将为您提供 FINISHED 状态和结果。

score 0 · Accepted Answer

我有同样的问题。错误消息似乎是通用的。当我检查日志时，我看到：

Oops, there's an AbstractMethodError... maybe you compiled your code with an older version of SJS? here's the exception:

当我将版本更改为 0.7 时，它起作用了。所以可能这个错误有时意味着有一个错误。你必须检查日志。

3 回答 3