这个问题已经受到在线使用的影响,但是当程序批量读取数据时,扫描器容易出现超时或者“java.io.IOException: Couldn't get scan data”异常。有人可以帮助回答并帮助优化这个问题,谢谢。
因为我有12个存储盘,之前设置了12个维护管理器线程,但是发现磁盘IO太高,导致磁盘满载。后来改成4线程,可以缓解,但还是占用不少。平均每盘读写70m/s以上。
# This is my tserver configuration
--fs_wal_dir=/data1/kudu/tserver
--fs_data_dirs=/data2/kudu/tserver,/data3/kudu/tserver,/data4/kudu/tserver,/data5/kudu/tserver,/data6/kudu/tserver,/data7/kudu/tserver,/data8/kudu/tserver,/data9/kudu/tserver,/data10/
kudu/tserver,/data11/kudu/tserver,/data12/kudu/tserver,/data13/kudu/tserver
--rpc_service_queue_length=30000
--scanner_ttl_ms=600000
--scanner_batch_size_rows=10000
--scanner_default_batch_size_bytes=10485760
--scanner_max_batch_size_bytes=83886080
--rpc_num_service_threads=32
--consensus_rpc_timeout_ms=600000
--consensus_max_batch_size_bytes=10485760
--maintenance_manager_num_threads=4
--block_cache_capacity_mb=5120