55

我想把IEnumerable<T>它分成固定大小的块。

我有这个，但由于所有列表创建/复制，它似乎不优雅：

private static IEnumerable<IEnumerable<T>> Partition<T>(this IEnumerable<T> items, int partitionSize)
{
    List<T> partition = new List<T>(partitionSize);
    foreach (T item in items)
    {
        partition.Add(item);
        if (partition.Count == partitionSize)
        {
            yield return partition;
            partition = new List<T>(partitionSize);
        }
    }
    // Cope with items.Count % partitionSize != 0
    if (partition.Count > 0) yield return partition;
}

还有更惯用的吗？

编辑：虽然这已被标记为Divide array into an array of subsequence array的副本，但它不是 - 该问题涉及拆分数组，而这是关于IEnumerable<T>. 此外，该问题要求填充最后一个子序列。这两个问题密切相关，但并不相同。

4

8 回答 8

77

您可以尝试自己实现上述批处理方法，如下所示：

    static class MyLinqExtensions 
    { 
        public static IEnumerable<IEnumerable<T>> Batch<T>( 
            this IEnumerable<T> source, int batchSize) 
        { 
            using (var enumerator = source.GetEnumerator()) 
                while (enumerator.MoveNext()) 
                    yield return YieldBatchElements(enumerator, batchSize - 1); 
        } 

        private static IEnumerable<T> YieldBatchElements<T>( 
            IEnumerator<T> source, int batchSize) 
        { 
            yield return source.Current; 
            for (int i = 0; i < batchSize && source.MoveNext(); i++) 
                yield return source.Current; 
        } 
    }

我从http://blogs.msdn.com/b/pfxteam/archive/2012/11/16/plinq-and-int32-maxvalue.aspx获取了这段代码。

更新：请注意，此实现不仅懒惰地评估批次，而且还评估批次内的项目，这意味着只有在枚举所有先前的批次之后才枚举批次时，它才会产生正确的结果。例如：

public static void Main(string[] args)
{
    var xs = Enumerable.Range(1, 20);
    Print(xs.Batch(5).Skip(1)); // should skip first batch with 5 elements
}

public static void Print<T>(IEnumerable<IEnumerable<T>> batches)
{
    foreach (var batch in batches)
    {
        Console.WriteLine($"[{string.Join(", ", batch)}]");
    }
}

将输出：

[2, 3, 4, 5, 6] //only first element is skipped.
[7, 8, 9, 10, 11]
[12, 13, 14, 15, 16]
[17, 18, 19, 20]

因此，如果您的用例在按顺序评估批次时假设批处理，那么上面的惰性解决方案将起作用，否则如果您不能保证严格的顺序批处理（例如，当您想要并行处理批次时），您可能需要一个解决方案它急切地枚举批处理内容，类似于上面的问题或MoreLINQ中提到的内容

于 2012-12-04T19:00:01.980 回答
15

也许？

public static IEnumerable<IEnumerable<T>> Partition<T>(this IEnumerable<T> items, int partitionSize)
{
    return items.Select((item, inx) => new { item, inx })
                .GroupBy(x => x.inx / partitionSize)
                .Select(g => g.Select(x => x.item));
}

也有一个已经实现的：morelinq's Batch。

于 2012-12-04T18:45:55.840 回答
15

感觉就像您想要两个迭代器块（“yield return方法”）。我写了这个扩展方法：

static class Extensions
{
  public static IEnumerable<IEnumerable<T>> Partition<T>(this IEnumerable<T> items, int partitionSize)
  {
    return new PartitionHelper<T>(items, partitionSize);
  }

  private sealed class PartitionHelper<T> : IEnumerable<IEnumerable<T>>
  {
    readonly IEnumerable<T> items;
    readonly int partitionSize;
    bool hasMoreItems;

    internal PartitionHelper(IEnumerable<T> i, int ps)
    {
      items = i;
      partitionSize = ps;
    }

    public IEnumerator<IEnumerable<T>> GetEnumerator()
    {
      using (var enumerator = items.GetEnumerator())
      {
        hasMoreItems = enumerator.MoveNext();
        while (hasMoreItems)
          yield return GetNextBatch(enumerator).ToList();
      }
    }

    IEnumerable<T> GetNextBatch(IEnumerator<T> enumerator)
    {
      for (int i = 0; i < partitionSize; ++i)
      {
        yield return enumerator.Current;
        hasMoreItems = enumerator.MoveNext();
        if (!hasMoreItems)
          yield break;
      }
    }

    IEnumerator IEnumerable.GetEnumerator()
    {
      return GetEnumerator();      
    }
  }
}
于 2012-12-04T20:41:24.203 回答
8

最疯狂的解决方案（使用Reactive Extensions）：

public static IEnumerable<IList<T>> Partition<T>(this IEnumerable<T> items, int partitionSize)
{
    return items
            .ToObservable() // Converting sequence to observable sequence
            .Buffer(partitionSize) // Splitting it on spececified "partitions"
            .ToEnumerable(); // Converting it back to ordinary sequence
}

我知道我改变了签名，但无论如何我们都知道我们会有一些固定大小的集合作为一个块。

顺便说一句，如果您将使用迭代器块，请不要忘记将您的实现拆分为两种方法来热切地验证参数！

于 2012-12-04T19:24:05.330 回答
5

对于优雅的解决方案，您还可以查看MoreLinq.Batch。

它将源序列分批成大小合适的桶。

例子：

int[] ints = new int[] {1,2,3,4,5,6};
var batches = ints.Batch(2); // batches -> [0] : 1,2 ; [1]:3,4 ; [2] :5,6
于 2012-12-04T18:51:06.923 回答
1 
public static IEnumerable<IEnumerable<T>> Partition<T>(this IEnumerable<T> items, 
                                                       int partitionSize)
{
    int i = 0;
    return items.GroupBy(x => i++ / partitionSize).ToArray();
}
于 2012-12-04T18:43:21.230 回答
0

System.Collections.Concurrent命名空间中的分区器类怎么样？

于 2012-12-04T18:42:06.317 回答
0

您可以使用整数除法的重载Enumerable.GroupBy和利用整数除法来做到这一点。

return items.Select((element, index) => new { Element = element, Index = index })
    .GroupBy(obj => obj.Index / partitionSize, (_, partition) => partition);
于 2012-12-04T18:46:51.023 回答