0

当我从 redis 读取表格时,得到以下错误。

下面的代码通常运行良好。

val readDF= spark.sparkContext.fromRedisKeyPattern(tableName,5).getHash().toDS()

通常它的工作行数少于 200 万行。但是,如果我正在阅读大表,则会出现此错误。

18/10/11 17:08:25 错误执行程序:阶段 3.0 (TID 338) 中任务 37.0 中的异常 redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: 在 redis.clients.util 读取超时。 RedisInputStream.ensureFill(RedisInputStream.java:202) 在 redis.clients.util.RedisInputStream.readByte(RedisInputStream.java:40)

val redis = spark.sparkContext.fromRedisKeyPattern(tableName,100).getHash().toDS()

我还更改了 redis 上的一些设置,但我认为这与此无关。你知道我该如何解决这个问题吗?

4

0 回答 0