问题标签 [cluster-mode]

我已经在 kubernetes 中以集群模式部署了 spark 应用程序。spark 应用程序 pod 几乎每小时都会重新启动。驱动程序日志在重新启动之前有此消息：

Executor 日志有：

如何找到导致执行者删除的原因？

部署：

我在 Medium 上读过一篇文章，声称执行器的数量 + 1（用于驱动程序）应该是 3 的倍数，以有效利用机器上的核心（在这种情况下为 16 个核心，即每个执行器 5 个和 1 个将保留给操作系统和节点管理器）

由于实际原因，我无法通过在集群上进行试验来验证此声明。有人试过这个吗？或参考代码/文档说明 Yarn 节点将/不会在另一个 Spark 应用程序之间共享集群资源？

PM2：v.4.4.0

NodeJS ：v.10.16.0。

配置.json：

我尝试在 Windows 2012 Server 和 Ubuntu 18 中启动应用程序。

如果我从fork开始一切正常。

但是，如果我尝试以集群模式启动 pm2 start app config.json - 不起作用。

配置.json：

在窗口中：

在带有 NVM 的 Ubuntu 18 中：

任何身体帮助？

嗨，我正在用 nodejs 和 pm2 制作 api 服务器。

我有个问题。

是否可以使用 pm2 reload 命令仅使用一个 pm2 fork 模式实例将停机时间归零？

或者是否必须拥有两个 pm2 集群模式实例才能实现零停机？

让我知道谢谢！

我正在尝试读取保存在 UNIX 本地文件系统中的 CSV 文件，在集群模式下运行它时找不到 CSV 文件。

在本地模式下，它可以读取 HDFS 和 file:/// 文件。但是，在集群模式下，它只能读取 HDFS 文件。

有没有合适的读取方式而不将其复制到 HDFS 中？

错误地，我在服务器上运行了以下命令 pm2start app.js -i 3500

现在在服务器上以集群模式创建多个实例。谁能建议我如何阻止这个？我怎样才能删除已经存在的实例？

谢谢

以前，我们使用的是通过 AWS ElastiCache 禁用集群模式的 Redis。

我们使用 Jedis 的 Java 代码指向主要的单节点端点，该端点用于读取和写入。

我们现在启用了集群模式。

我们现在已经将代码更改为指向新 Redis 集群的配置端点，但是它现在在接收请求时会抛出错误，见下文：

Redis 不可用。继续使用 Queue requestMessage 代替。org.springframework.data.redis.ClusterRedirectException: Redirect: slot 2356 to [ipaddress]:6379.; 嵌套异常是 redis.clients.jedis.exceptions.JedisMovedDataException: MOVED 2356 [ipaddress]:6379

我们的配置代码如下：

仅仅将 Jedis 更改为指向配置端点不就足够了吗？

我需要更改代码中的任何内容吗？

最初在我们的代码中，我们与在单个节点上使用 RedisRedisTemplate结合使用：JedisConnectionFactoryJedisPoolConfig

我们现在使用JedisClusterRedis 集群。

当我们使用 RedisTemplate 时，我们使用了许多命令，例如redisTemplate.hasKey(cacheKey)检查密钥是否存在以及redisTemplate.opsForValue().set与RedisTemplate.

这些方法似乎不适用于JedisCluster.

有没有办法可以将 RedisTemplate 与 JedisCluster 结合使用，以避免重新编码这些方法，而只使用 RedisTemplate 提供的方法？

或者是否有替代命令可以用来代替 RedisTemplate 提供的命令？