我正在尝试了解如何实施Partitioner<T>
.
我的情况:
我们从文件中读取并插入到 Azure 表存储中。我们使用任务来加快进程。该文件有近 10,000,000 行。
我尝试使用并行执行和分区来实现更优雅的解决方案。我想将这个 9,000,000 的大组划分为一组分区集,并将它们分布在 30-50 个线程中。
我认为我需要动态实现Partitioner<List<List<TableEntity>>>
. 我有几个例子,一个带有 StringPartitioner 的例子,但它对我的情况并没有真正的帮助,因为我需要一个 IEnumerator 用于List<List<TableEntity>>
.
如果这一切令人困惑,请告诉我,以便我澄清。
问题是如何在List<List<TableEntity>>
.