3

我正在使用IEqualityComparerLINQ to Entities 匹配数据库中的“近乎重复”。

由于记录集约为 40,000，此查询大约需要 15 秒才能完成，我想知道是否可以对下面的代码进行任何结构更改。

我的公开方法

public List<LeadGridViewModel> AllHighlightingDuplicates(int company)
        {

            var results = AllLeads(company)
                  .GroupBy(c => c, new CompanyNameIgnoringSpaces())
                  .Select(g => new LeadGridViewModel
                  {
                      LeadId = g.First().LeadId,
                      Qty = g.Count(),
                      CompanyName = g.Key.CompanyName
                  }).OrderByDescending(x => x.Qty).ToList();

            return results;

        }

获取潜在客户的私人方法

private char[] delimiters = new[] { ' ', '-', '*', '&', '!' };
private IEnumerable<LeadGridViewModel> AllLeads(int company)
        {
            var items = (from t1 in db.Leads
                          where
                              t1.Company_ID == company
                          select new LeadGridViewModel
                          {
                              LeadId = t1.Lead_ID,
                              CompanyName = t1.Company_Name,
                          }).ToList();


            foreach (var x in items)
                x.CompanyNameStripped = string.Join("", (x.CompanyName ?? String.Empty).Split(delimiters));

            return items;
        }

我的 IEqualityComparer

 public class CompanyNameIgnoringSpaces : IEqualityComparer<LeadGridViewModel>
    {
        public bool Equals(LeadGridViewModel x, LeadGridViewModel y)
        {
            var delimiters = new[] {' ', '-', '*', '&', '!'};
            return delimiters.Aggregate(x.CompanyName ?? String.Empty, (c1, c2) => c1.Replace(c2, '\0')) 
                == delimiters.Aggregate(y.CompanyName ?? String.Empty, (c1, c2) => c1.Replace(c2, '\0'));
        }

        public int GetHashCode(LeadGridViewModel obj)
        {
            var delimiters = new[] {' ', '-', '*', '&', '!'};
            return delimiters.Aggregate(obj.CompanyName ?? String.Empty, (c1, c2) => c1.Replace(c2, '\0')).GetHashCode();
        }
    }
4

2 回答 2

2

您可以使用以下命令一次性执行所有替换Regex.Replace：

public class CompanyNameIgnoringSpaces : IEqualityComparer<LeadGridViewModel>
{
    static Regex replacer = new Regex("[ -*&!]");
    public bool Equals(LeadGridViewModel x, LeadGridViewModel y)
    {
        return replacer.Replace(x.CompanyName, "")
            == replacer.Replace(y.CompanyName, "");
    }

    public int GetHashCode(LeadGridViewModel obj)
    {
        return replacer.Replace(obj.CompanyName, "").GetHashCode();
    }
}

那可能会更快；试试看！（另请注意，我已跳过空检查，您可能希望以某种方式将它们放回原处。）

于 2012-11-06T14:59:15.527 回答
2

一种方法是在数据库上创建一个计算列，即删除不需要的字符的公司名称。

然后使用此列进行过滤。

这可能会稍微降低插入性能，但应该会大大缩短查询时间。

于 2012-11-06T15:04:52.800 回答