12

我需要有关如何编写算法来查找字符串中的关键字或关键短语的建议或指导。

该字符串包含：

  • 用英语 (GB) 编写的技术信息
  • 单词大多用空格隔开
  • 关键字不包含空格，但可以包含连字符、撇号、冒号等。
  • 关键词可以包含空格、逗号或其他标点符号
  • 如果两个或多个关键字同时出现，那么它很可能是一个关键词，例如“逆变器驱动器”
  • 该文本还包含 HTML，但如有必要，可以事先将其删除
  • 非关键字是“and”、“the”、“we”、“see”、“look”等词。
  • 关键字不区分大小写，例如“Inverter”和“inverter”是相同的关键字

该算法有以下要求：

  1. 在批处理场景中运行，例如每天运行一次或两次
  2. 处理长度从大约200 到 7000 个字符不等的字符串
  3. 在不到 1 小时内处理 1000 个字符串
  4. 将在功率适中的服务器上执行
  5. 使用以下语言之一编写：C#、VB.NET 或 T-SQL甚至可能是 F#、Python 或 Lua 等。
  6. 不依赖于预定义关键字或关键短语的列表
  7. 但可以依赖关键字排除列表，例如“and”、“the”、“go”等。
  8. 理想情况下可转移到其他语言，例如不依赖于特定语言的功能，例如元编程
  9. 输出关键词列表（频率降序），后跟关键字列表（频率降序）

如果它可以在几秒钟内处理多达 8000 个字符，那就太酷了，这样它就可以实时运行，但我已经问够了！

只是寻找建议和方向：

  • 这应该被视为两个独立的算法吗？
  • 有没有我可以遵循的既定算法？
  • 我的要求可行吗？

非常感谢。

PS 字符串将从 SQL Server 2008 R2 数据库中检索，因此理想情况下该语言将支持此功能，如果不支持，则它必须能够读取/写入 STDOUT、管道、流或文件等。

4

1 回答 1

11

所涉及的逻辑使得在 T-SQL 中编程变得复杂。选择像 C# 这样的语言。首先尝试制作一个简单的桌面应用程序。稍后，如果您发现将所有记录加载到此应用程序太慢，您可以编写一个在 SQL-Server 上执行的 C# 存储过程。根据 SQL-Server 的安全策略，它需要有一个强密钥。

现在到算法。排除词列表通常称为停用词列表。如果您对该搜索词进行一些谷歌搜索，您可能会找到可以开始使用的停用词列表。将这些停用词添加到 a HashSet<T>（我将在此处使用 C#）

// Assuming that each line contains one stop word.
HashSet<string> stopWords =
    new HashSet<string>(File.ReadLines("C:\stopwords.txt"), StringComparer.OrdinalIgnoreCase);

稍后您可以查看关键字候选是否在停用词列表中

If (!stopWords.Contains(candidate)) {
    // We have a keyword
}

HashSet 很快。它们的访问时间为 O(1)，这意味着进行查找所需的时间不取决于它包含的项目数。

使用正则表达式可以轻松查找关键字。

string text = ...; // Load text from DB
MatchCollection matches = Regex.Matches(text, "[a-z]([:']?[a-z])*",
                                        RegexOptions.IgnoreCase);
foreach (Match match in matches) {
    if (!stopWords.Contains(match.Value)) {
        ProcessKeyword(match.Value); // Do whatever you need to do here
    }
}

如果您发现 az 对字母过于严格并且需要重音字母，您可以将正则表达式更改为@"\p{L}([:']?\p{L})*". 字符类\p{L}包含所有字母和字母修饰符。

词组比较复杂。您可以尝试先将文本拆分为短语，然后对这些短语应用关键字搜索，而不是在整个文本中搜索关键字。这将为您同时提供一个短语中的关键字数量。

将文本拆分为短语涉及搜索以“。”结尾的句子。或者 ”？” 或者 ”！” 或者 ”：”。您应该排除出现在单词中的点和冒号。

string[] phrases = Regex.Split(text, @"[\.\?!:](\s|$)");

这会搜索后跟空格或行尾的标点符号。但我必须同意这并不完美。它可能会错误地将缩写词检测为句子结尾。您将不得不进行实验以改进拆分机制。

于 2012-06-12T23:31:11.853 回答