当我单击独立 Spark UI 中的工作程序链接时，我收到“HTTP ERROR 502 Bad Gateway”。查看主日志，我可以看到相应的消息...
HttpSenderOverHTTP.java:219 生成的 headers (4096 bytes), chunk (-1 bytes), content (0 bytes) - HEADER_OVERFLOW/HttpGenerator@231f022d{s=START}
我的 Spark UI 前面的网络基础设施确实生成了一个大于 4096 字节的标头，Spark 反向代理正试图将其传递给工作 UI。如果我绕过该基础设施，UI 会正常工作。
在深入研究 Spark UI 代码后，我相信Jetty ProxyServlet的requestBufferSize init 参数控制了这一点。
这可以通过（比如说）Java 属性在运行时增加吗？例如，类似...
SPARK_MASTER_OPTS=-Dorg.eclipse.jetty.proxy.ProxyServlet.requestBufferSize=8192 ...
我已经尝试过上述方法但没有成功——我对 Jetty 或 Servlet 不够熟悉，一般不知道这是否接近有效。显然，我也在研究减小标头大小的方法，但这涉及到我无法控制的系统。
（火花 v3.0.2 / 码头 9.4）