当我从 redis 读取表格时,得到以下错误。
下面的代码通常运行良好。
val readDF= spark.sparkContext.fromRedisKeyPattern(tableName,5).getHash().toDS()
通常它的工作行数少于 200 万行。但是,如果我正在阅读大表,则会出现此错误。
18/10/11 17:08:25 错误执行程序:阶段 3.0 (TID 338) 中任务 37.0 中的异常 redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutException: 在 redis.clients.util 读取超时。 RedisInputStream.ensureFill(RedisInputStream.java:202) 在 redis.clients.util.RedisInputStream.readByte(RedisInputStream.java:40)
val redis = spark.sparkContext.fromRedisKeyPattern(tableName,100).getHash().toDS()
我还更改了 redis 上的一些设置,但我认为这与此无关。你知道我该如何解决这个问题吗?