问题标签 [google-spark-operator]

目前我正在使用 spark 2.4.6 并在我的 k8
https://github.com/GoogleCloudPlatform/spark-on-k8s-operator中设置了 spark operator 3.0.0

我能够在 k8s 中执行 SparkPi 并部署（在 GKE 中）。

但是，当我尝试将 PI 值广播到我的微服务时toys-broadcast-svc.toys.svc.cluster.local

我无法解析 DNS（获取UnknownHostException）。任何人都可以帮忙吗？我在这里错过了什么吗？

供您参考：

• 我已经用 helm 安装了操作员 helm install sparkoperator incubator/sparkoperator --namespace toys-spark-operator --set sparkJobNamespace=toys-spark,enableWebhook=true

• 我正在使用 spark-operator（微服务在命名空间中toys ，火花在命名空间中toys-spark）

我想使用多集群 Kubernetes 设置启用故障转移方案。它的行为应该如下所示：

用户在集群 1 中创建 Spark 应用程序。集群 1 失败/Spark 作业无法继续。然后集群 2 应该接管并启动类似的 Spark 应用程序，甚至继续运行在集群 1 中运行的相同 Spark 作业。

是否有任何可用的工具可以实现这一点？如果不是，那么实施它的最佳方式是什么？通过在两个相互通信的集群中部署两个控制器

我在容器内使用主机名解析不起作用的服务。我不断收到错误“名称或服务未知”。

已尝试使用以下方式创建集群角色、服务帐户： https ://github.com/GoogleCloudPlatform/spark-on-k8s-operator/blob/master/manifest/spark-operator-rbac.yaml

在 spark k8s operator yaml 文件中，将 hostNetwork 标志设置为 True。

在所有集群节点上，/etc/hosts 具有所有必需的信息。

注意：当我使用 add-hosts（而不是通过 k8s 集群）运行 docker 容器时 - 我没有看到主机名解析错误，因为我们正在通过 docker run 命令添加其他主机。

还有什么办法可以解决这个问题？现在被卡住了一段时间。

我正在使用google spark-operator和一些calico网络策略来保护命名空间。

Spark 驱动程序 pod 需要能够与命名空间中的kubernetes服务通信default才能与 api-server 对话。
这就是我得到的：

问题是：
使用任何类型的网络策略都会阻止与默认命名空间的通信。恢复连接是可能的，但选择kubernetes.default服务仍然是不可能的，因为它是一个特定的服务（没有选择器）......所以你不能与之通信！

我尝试打开与default+kube-system命名空间中所有 pod 的通信。它适用于所有服务，但 kubernetes.default仍然无法访问！

出于某些原因kubernetes.default.svc.cluster.local:443，尽管所有通信都是开放的，但会出现冰壶超时事件。

我正在尝试使用 spark-operator 在 kubernetese（通过 minikube）上运行 spark/java 应用程序。我对应该在 Dockerfile 中放置什么以便它可以以图像格式构建并通过 spark-operator 执行有点困惑？

示例 spark-operator.yaml ：

如上所述，spark 运算符 yaml 只需要 jar 和图像位置。那么，我是否需要在我的 Dockerfile 中提及以下内容？是否有任何可用的示例 Dockerfile 可供我参考？

Dockerfile：

java进程调用如下：

所以它有prometheus JMX-exporter被设置为javaagent。并且根据https://github.com/prometheus/jmx_exporter#debugging设置日志记录

但是，没有观察到 prometheus jmx-exporter 日志中的任何内容。JMX-exporter 本身可以正常工作，并在暴露的端口上输出格式正确的数据。

为作为 javaagent 执行的代码提供日志记录的方法是什么？

我正在尝试在我的 kubernetes 环境中使用 Spark 运算符运行 spark 作业。我所有的应用程序 jar 和依赖项都存储在 s3 中。当我使用简单的 spark 命令时，我的工作运行良好。但是，当我提供以下操作员 yaml 时。作业未启动。

使用以下命令描述 sparkapplication 时

它显示以下错误

所有的 hadoop-aws 依赖 jar 都已经存在于我们的镜像中，并且其他没有提供依赖 jar 和文件的作业运行良好，即使应用程序 jar 仍然存在于 s3 中。

我在这里错过了一些财产吗？

https://github.com/GoogleCloudPlatform/spark-on-k8s-operator

当我尝试使用启用的 webhook 启动 spark-operator 时，我收到了该日志

如果禁用 webhook 它工作得很好。

我正在尝试在 Openshift 上进行 spark-submit 以使用特定的 Worker 节点。下面是我的命令。

我已经获得了特定的工作节点，带有污染键/值对 xxx/yyyy。你能帮助如何在 spark-submit conf 中传递它，以使用特定的工作节点。

谢谢。