3

我有一本非常大的字典，里面的内容看起来像：（
字典中不包含标题）

(code)        (names)
------------------------------
910235487     Diabetes, tumors, sugar sick, .....

我在字典中有超过 150K 行这种对。

用户输入的是关键词（诊断名称），我无法通过按键搜索字典。

这是代码：

var relevantIDs = this.dic.Where(ele => ele.Value.Contains(keyword)).Select(n => Convert.ToUInt64(n.Key));

字典是Dictionary<string, string>，我必须使用字符串作为键的数据类型，因为代码有时可以包含字符。名称列包含相关诊断名称的列表。所以我也不能改变这个数据类型。

我认为问题出在一对的每个值上，我做了Contains减慢 who 进程的操作，但我找不到替代方法......

这就是我为了找到匹配的代码所做的。
但是这段代码的性能很糟糕（完成这一行代码大约需要 5 分钟）。

有人可以帮忙吗？

更新和最简单的解决方案：

我终于找到了为什么搜索这么慢的季节，并通过这样做解决了它：

var relevantStringIDs = this.dic.Where(ele => ele.Value.Contains(keyword)).Tolist();
var relevantUlongIDs = relevantStringIDs.Select(n => Convert.ToUInt64(n.Key)).Tolist();

之所以这么慢this.dic.Where(ele => ele.Value.Contains(keyword))，是因为每次执行查询的第二部分时都会执行（这是的特点IEnumberable<T>，我忘记了它的术语（可能是延迟执行））。所以我使用ToList()将延迟查询转换为内存中的具体列表，以便在将字符串转换为时可以重用结果ulongs，而不是为每次转换再次执行查询。
如果您在此解释中发现错误，请纠正我。

顺便说一句，虽然这可能不是最好的解决方案，但更改后的代码的性能还是令人满意的。代码的第一条语句只花费了 169 毫秒，这对我来说已经足够快了。

4

2 回答 2

4

你做错了。当您知道key而不是 value 时，字典允许有效的查找。

修复性能的一种简单方法是构建一个反向字典，模仿内容的全文索引：

var dic = new Dictionary<string, string>();
dic.Add("910235487", "Diabetes, tumors, sugar sick");
dic.Add("120391052", "Fever, diabetes");

char[] delimiters = new char[] { ' ', ',' };

var wordCodes =
    from kvp in dic
    from word in kvp.Value.Split(delimiters, StringSplitOptions.RemoveEmptyEntries)
    let code = long.Parse(kvp.Key)
    select new { Word = word, Code = code };

var fullTextIndex =
    wordCodes.ToLookup(wc => wc.Word, wc => wc.Code, StringComparer.OrdinalIgnoreCase);

long[] test1 = fullTextIndex["sugar"].ToArray();       // Gives 910235487
long[] test2 = fullTextIndex["diabetes"].ToArray();    // Gives 910235487, 120391052

全文索引的构建需要较长时间；但是，这是一次性成本，将通过后续查找所节省的时间进行摊销。

于 2013-07-16T00:50:15.773 回答
2

您的问题是，通过迭代字典的值，您失去了字典的所有速度优势。字典针对键查找进行了优化。

我会使用不同的数据类型来解决这个问题，并针对您的关键字查找进行优化。

这是一个使用 LINQ从与您的数据相似的数据创建查找的示例。在这种情况下，我直接从字符串数据构建它，这完全避免了字典。

这种类型的查找应该执行得更好。

string [] lines = {
"123 A, B, C, D",
"456 E, F, G",
"321 A, E, H, I",
"654 B, G",
"789 A, J, K, L",
"987 A, M, L, E"
};

var lookup = lines.SelectMany (
    l => (l.Split(new char[]{' '},2)[1]).Split(',').Select (v => v.Trim().ToLower()).ToArray(),
    (l,o) => new{
    keyword = o,
    code = Convert.ToInt64(l.Split(' ')[0])
}).ToLookup(k => k.keyword, v => v.code).Dump();

Console.WriteLine(String.Join(",",lookup["a"]));
Console.WriteLine(String.Join(",",lookup["l"]));
Console.WriteLine(String.Join(",",lookup["b"]));

请注意，这假设您正在查找整个关键字（您的初始示例可以查找部分关键字）

于 2013-07-16T00:59:07.317 回答