python - 如何使用 concurrent.futures 或多处理并行执行带有 sql 查询管道的 python？

Question

我已经建立了一个管道，我在每次迭代中分批从 MySQL 数据库中获取数据，直到我遍历整个数据集。

offset = 0
while True:
    
   await cursor.execute("select * from candidate limit 100 offset '{}'".format(offset))
   data = await cursor.fetchall()

   if len(data) == 0:
       break # break until there is nothing to return from candidate table

   # perform some operations on this data
   # processed data is written to NoSQL database

   # increment offset for next batch
   offset += 1

目前，此操作是顺序的，这意味着每个批次都被一个一个地处理，这会导致一些延迟问题。谁能帮我并行化这个。

处理完整个表数据后，如何并行执行三到四组并中断？请提供一些代码示例（或）伪代码以了解逻辑，以便我可以正确执行。