13

我写了一个SplitBetween类似于String.Split.

> new List<int>(){3,4,2,21,3,2,17,16,1}
> .SplitBetween(x=>x>=10)

[3,4,2], [3,2], [], [1]

资源：

// partition sequence into sequence of contiguous subsequences
// behaves like String.Split
public static IEnumerable<IEnumerable<T>> SplitBetween<T>(this IEnumerable<T> source, 
                                                          Func<T, bool> separatorSelector, 
                                                          bool includeSeparator = false)
{
    var l = new List<T>();
    foreach (var x in source)
    {
        if (separatorSelector(x))
        {
            if (includeSeparator)
            {
                l.Add(x);
            }
            yield return l;
            l = new List<T>();
        }
        else
        {
            l.Add(x);
        }
    }
    yield return l;
}

本着 LINQ 的精神，我认为这种方法应该做惰性求值。但是，我的实现对外部 IEnumerable 进行惰性评估，而不是对内部 IEnumerable进行惰性评估。我怎样才能解决这个问题？

外部行为如何是惰性的演示。AssumeThrowingEnumerable<int>是一个IEnumerable<int>当任何人试图迭代它时会爆炸的（参见 Skeet 的 Edulinq）。

(new List<int>(){1,2,3,10,1})
.Concat(Extensions.ThrowingEnumerable<int>())
.SplitBetween(x=>x>=10)
.First().ToList();

[1,2,3]

但内心的行为并不懒惰

(new List<int>(){1,2,3,10,1})
.Concat(Extensions.ThrowingEnumerable<int>())
.SplitBetween(x=>x>=10)
.ElementAt(2).First();

BOOM

我们在这里期望 1。

4

4 回答 4

3

编辑：你的方法没有任何问题，除了当你枚举它时抛出的枚举会真正“繁荣”。这就是它的意义所在。它没有适当的GetEnumerator定义。所以你的代码没有真正的问题。在第一种情况下First，您只是枚举直到获得第一个结果集（just { 1, 2, 3 } ），而不是枚举抛出的可枚举（这意味着Concat没有被执行）。但是在第二个示例中，您在2拆分后要求元素，这意味着它也会枚举投掷可枚举并且会“繁荣”。这里的关键是要理解ElementAt 枚举集合直到索引被要求并且不是天生的懒惰（它不能）。

我不确定是否完全懒惰是去这里的方式。问题在于，将惰性拆分为外部序列和内部序列的整个过程在一个枚举器上运行，该枚举器可以根据枚举器状态产生不同的结果。例如，您仅枚举外部序列，内部序列不再是您所期望的。或者如果只枚举一半的外序列和一个内序列，那么其他内序列的状态会是什么？你的方法是最好的。

下面的方法是惰性的（仍然会繁荣，因为这是有保证的），因为它不使用中间的具体实现，但可能比您的原始方法慢，因为它不止一次遍历列表：

public static IEnumerable<IEnumerable<T>> SplitBy<T>(this IEnumerable<T> source, 
                                                     Func<T, bool> separatorPredicate, 
                                                     bool includeEmptyEntries = false,
                                                     bool includeSeparators = false)
{
    int prevIndex = 0;
    int lastIndex = 0;
    var query = source.Select((t, index) => { lastIndex = index; return new { t, index }; })
                      .Where(a => separatorPredicate(a.t));
    foreach (var item in query)
    {
        if (item.index == prevIndex && !includeEmptyEntries)
        {
            prevIndex++;
            continue;
        }

        yield return source.Skip(prevIndex)
                           .Take(item.index - prevIndex + (!includeSeparators ? 0 : 1));
        prevIndex = item.index + 1;
    }

    if (prevIndex <= lastIndex)
        yield return source.Skip(prevIndex);
}

总的来说，你原来的方法是最好的。如果您需要完全懒惰的东西，那么我的以下答案很合适。请注意，它仅适用于以下情况：

foreach (var inners in outer)
    foreach (var item in inners)
    { 
    }

并不是

var outer = sequence.Split;
var inner1 = outer.First;
var inner2 = outer.ElementAt; //etc

换句话说，不适合在同一内部序列上进行多次迭代。如果您完全意识到这种危险的构造：

原答案：

这不使用中间具体集合，不ToList使用源可枚举，并且完全是惰性/迭代器：

public static IEnumerable<IEnumerable<T>> SplitBy<T>(this IEnumerable<T> source,
                                                     Func<T, bool> separatorPredicate,
                                                     bool includeEmptyEntries = false,
                                                     bool includeSeparator = false)
{
    using (var x = source.GetEnumerator())
        while (x.MoveNext())
            if (!separatorPredicate(x.Current))
                yield return x.YieldTill(separatorPredicate, includeSeparator);
            else if (includeEmptyEntries)
            {
                if (includeSeparator)
                    yield return Enumerable.Repeat(x.Current, 1);
                else
                    yield return Enumerable.Empty<T>();
            }
}

static IEnumerable<T> YieldTill<T>(this IEnumerator<T> x, 
                                   Func<T, bool> separatorPredicate,
                                   bool includeSeparator)
{
    yield return x.Current;

    while (x.MoveNext())
        if (!separatorPredicate(x.Current))
            yield return x.Current;
        else
        {
            if (includeSeparator)
                yield return x.Current;
            yield break;
        }
}

简短，甜蜜和简单。我添加了一个附加标志来表示是否要返回空集（默认情况下它会忽略）。没有那个标志，代码就更简洁了。

感谢您提出这个问题，这将在我的扩展方法库中！:)

于 2013-02-16T23:45:58.700 回答
1

这个不会使用List<>，也不会 BOOM。

public static IEnumerable<IEnumerable<T>> SplitBetween<T>(this IEnumerable<T> source,
                                                          Func<T,bool> separatorSelector, 
                                                          bool includeSeparators=false) 
{
    if (source == null)
        throw new ArgumentNullException("source");

    return SplitBetweenImpl(source, separatorSelector, includeSeparators);
}

private static IEnumerable<T> SplitBetweenInner<T>(IEnumerator<T> e,
                                                   Func<T,bool> separatorSelector)
{
    var first = true;

    while(first || e.MoveNext())
    {
        if (separatorSelector((T)e.Current))
            yield break;    

        first = false;
        yield return e.Current;
    }
}

private static IEnumerable<IEnumerable<T>> SplitBetweenImpl<T>(this IEnumerable<T> source,
                                                               Func<T,bool> separatorSelector, 
                                                               bool includeSeparators) 
{
    using (var e = source.GetEnumerator())
        while(e.MoveNext())
        {
            if (separatorSelector((T)e.Current) && includeSeparators)
                yield return new T[] {(T)e.Current};
            else
                {
                yield return SplitBetweenInner(e, separatorSelector);
                if (separatorSelector((T)e.Current) && includeSeparators)
                    yield return new T[] {(T)e.Current};
                }
        }
}

测试：

void Main()
{
    var list = new List<int>(){1, 2, 3, 10, 1};
    foreach(var col in list.Concat(Ext.ThrowingEnumerable<int>())
                           .SplitBetween<int>(x=>x>=10).Take(1))
    {
        Console.WriteLine("------");
        foreach(var i in col)
            Console.WriteLine(i);
    }
}

输出：

------
1
2
3

测试2

var list = new List<int>(){1, 2, 3, 10, 1}
foreach(var col in list.Concat(Ext.ThrowingEnumerable<int>())
                       .SplitBetween<int>(x=>x>=10).Take(2))

输出：

------
1
2
3
------
1
*Exception*

在这里，异常是因为ThrowingEnumerable-enumeration 的第一个元素将与1.

测试3：

var list = new List<int>(){1, 2, 3, 10, 1, 17};
foreach(var col in list.Concat(Ext.ThrowingEnumerable<int>())
                       .SplitBetween<int>(x=>x>=10, true).Take(4))

输出：

------
1
2
3
------
10
------
1
------
17

这里没问题，因为Exception元素会进入它自己的组，因此不会被迭代，因为Take(4)：

于 2012-07-13T06:09:29.290 回答
1

这是一个我认为可以满足您要求的解决方案。

问题是您只有一种带有产量的方法，并且您在枚举外部集合时手动创建内部集合。IEnumerable第二个问题是你的“测试”方式甚至在我下面的代码上也失败了。但是，正如 David B 在他的评论中指出的那样，您必须遍历所有元素来定义 external 元素的数量IEnumerable。但是您可以推迟内部IEnumerables 的创建和填充。

public static IEnumerable<IEnumerable<T>> SplitBetween<T>(this IEnumerable<T> source,Func<T,bool> separatorSelector, bool includeSeparators=false)
{
    IList<T> sourceList = source.ToList();
    var indexStart = 0;
    var indexOfLastElement = sourceList.Count - 1;
    for(int i = 0; i <= indexOfLastElement; i++)
        if (separatorSelector(sourceList[i]))
        {
            if(includeSeparators)
                yield return SplitBetweenInner(sourceList, indexStart, i);
            else
                yield return SplitBetweenInner(sourceList, indexStart, i - 1);

            indexStart = i + 1;
        }
        else if(i == indexOfLastElement)
            yield return SplitBetweenInner(sourceList, indexStart, i);        
}

private static IEnumerable<T> SplitBetweenInner<T>(IList<T> source, int startIndex, int endIndex)
{
    //throw new Exception("BOOM");
    for(int i = startIndex; i <= endIndex; i++)
        yield return source[i];
}

请注意，它的行为与您的代码略有不同（当最后一个元素满足分隔符条件时，它不会创建另一个空列表 - 它取决于此处的正确定义，但我发现更好，因为行为与元素出现在源列表的开头）

如果您测试代码，您将看到内部IEnumerable执行被延迟。

如果抛出异常行未注释：

(new List<int>(){3,4,2,21,3,2,17,16,1}).SplitBetween(x=>x>=10, true).Count();

返回4

(new List<int>(){3,4,2,21,3,2,17,16,1}).SplitBetween(x=>x>=10, true).First().Count();

投掷BOOM

于 2012-07-13T00:30:23.197 回答
1 
  public static IEnumerable<IEnumerable<T>> SplitBetween<T>(this IEnumerable<T> source, Func<T, bool> separatorSelector, bool includeSeparators = false)
  {
    var state = new SharedState<T>(source, separatorSelector, includeSeparators);
    state.LastList = state.NewList  = new InnerList<T>(state, 0);
    for (; ; )
    {
      if (state.NewList != null)
      {
        var newList = state.NewList;
        state.NewList = null;
        yield return newList.Items();            
      }
      else if (state.IsEnd)
        break;
      else
        state.CheckNext();
    }
  }
  class SharedState<T>
  {
    public SharedState(IEnumerable<T> source, Func<T, bool> separatorSelector, bool includeSeparators)
    {
      this.source = source;
      this.separatorSelector = separatorSelector;
      this.includeSeparators = includeSeparators;

      this.iterator = source.GetEnumerator();

      this.data = source as IList<T>;
      if (data == null)
      {
        cache = new List<T>();
        data = cache;
      }
    }
    public readonly IEnumerable<T> source;
    readonly IEnumerator<T> iterator; 
    public readonly IList<T> data;
    readonly List<T> cache;
    public readonly Func<T, bool> separatorSelector;
    public readonly bool includeSeparators;
    public int WaveIndex = -1;
    public bool IsEnd = false;
    public InnerList<T> NewList;
    public InnerList<T> LastList;

    public void CheckNext()
    {
      WaveIndex++;
      if (!iterator.MoveNext())
      {
        if (LastList.LastIndex == null)
          LastList.LastIndex = WaveIndex;
        IsEnd = true;
      }
      else
      {
        var item = iterator.Current;
        if (cache != null)
          cache.Add(item);
        if (separatorSelector(item))
        {
          LastList.LastIndex = includeSeparators ? WaveIndex + 1 : WaveIndex;
          LastList = NewList = new InnerList<T>(this, WaveIndex + 1);
        }
      }
    }
  }

  class InnerList<T>
  {
    public InnerList(SharedState<T> state, int startIndex)
    {
      this.state = state;
      this.StartIndex = startIndex;
    }
    readonly SharedState<T> state;
    public readonly int StartIndex;
    public int? LastIndex;

    public IEnumerable<T> Items()
    {
      for (var i = StartIndex; ; ++i)
      {
        if (LastIndex != null && i >= LastIndex)
          break;
        if (i >= state.WaveIndex)
          state.CheckNext();
        if (LastIndex == null || i < LastIndex)
          yield return state.data[i];
      }
    }
  }
于 2012-07-13T01:19:51.310 回答