我想在 PHP 中将文本分成句子。我目前正在使用正则表达式，它带来了约 95% 的准确率，并希望通过使用更好的方法来改进。我见过在 Perl、Java 和 C 中执行此操作的 NLP 工具，但没有看到任何适合 PHP 的东西。你知道这样的工具吗？
问问题
8359 次
6 回答
23
增强的正则表达式解决方案
假设您确实关心处理：Mr.等Mrs.缩写，那么以下单个正则表达式解决方案效果很好：
<?php // test.php Rev:20160820_1800
$split_sentences = '%(?#!php/i split_sentences Rev:20160820_1800)
# Split sentences on whitespace between them.
# See: http://stackoverflow.com/a/5844564/433790
(?<= # Sentence split location preceded by
[.!?] # either an end of sentence punct,
| [.!?][\'"] # or end of sentence punct and quote.
) # End positive lookbehind.
(?<! # But don\'t split after these:
Mr\. # Either "Mr."
| Mrs\. # Or "Mrs."
| Ms\. # Or "Ms."
| Jr\. # Or "Jr."
| Dr\. # Or "Dr."
| Prof\. # Or "Prof."
| Sr\. # Or "Sr."
| T\.V\.A\. # Or "T.V.A."
# Or... (you get the idea).
) # End negative lookbehind.
\s+ # Split on whitespace between sentences,
(?=\S) # (but not at end of string).
%xi'; // End $split_sentences.
$text = 'This is sentence one. Sentence two! Sentence thr'.
'ee? Sentence "four". Sentence "five"! Sentence "'.
'six"? Sentence "seven." Sentence \'eight!\' Dr. '.
'Jones said: "Mrs. Smith you have a lovely daught'.
'er!" The T.V.A. is a big project! '; // Note ws at end.
$sentences = preg_split($split_sentences, $text, -1, PREG_SPLIT_NO_EMPTY);
for ($i = 0; $i < count($sentences); ++$i) {
printf("Sentence[%d] = [%s]\n", $i + 1, $sentences[$i]);
}
?>
请注意，您可以轻松地在表达式中添加或删除缩写词。给定以下测试段落：
这是第一句。第二句！第三句？句“四”。一句话“五”！“六”字？句“七”。句子“八！” 琼斯博士说：“史密斯夫人，您有一个可爱的女儿！” TVA是个大工程！
这是脚本的输出：
Sentence[1] = [This is sentence one.]
Sentence[2] = [Sentence two!]
Sentence[3] = [Sentence three?]
Sentence[4] = [Sentence "four".]
Sentence[5] = [Sentence "five"!]
Sentence[6] = [Sentence "six"?]
Sentence[7] = [Sentence "seven."]
Sentence[8] = [Sentence 'eight!']
Sentence[9] = [Dr. Jones said: "Mrs. Smith you have a lovely daughter!"]
Sentence[10] = [The T.V.A. is a big project!]
基本的正则表达式解决方案
该问题的作者评论说，上述解决方案“忽略了许多选项”并且不够通用。我不确定这意味着什么，但上述表达式的本质是尽可能简洁明了。这里是：
$re = '/(?<=[.!?]|[.!?][\'"])\s+(?=\S)/';
$sentences = preg_split($re, $text, -1, PREG_SPLIT_NO_EMPTY);
请注意，两种解决方案都能正确识别在结尾标点符号后以引号结尾的句子。如果您不关心匹配以引号结尾的句子，则可以将正则表达式简化为：/(?<=[.!?])\s+(?=\S)/。
编辑：20130820_1000添加T.V.A.（另一个标点符号被忽略）到正则表达式和测试字符串。（回答 PapyRef 的评论问题）
编辑：20130820_1800整理并重命名正则表达式并添加了 shebang。还修复了正则表达式以防止在尾随空格上拆分文本。
于 2011-04-30T20:58:33.977 回答
2
对别人的工作略有改进：
$re = '/# Split sentences on whitespace between them.
(?<= # Begin positive lookbehind.
[.!?] # Either an end of sentence punct,
| [.!?][\'"] # or end of sentence punct and quote.
) # End positive lookbehind.
(?<! # Begin negative lookbehind.
Mr\. # Skip either "Mr."
| Mrs\. # or "Mrs.",
| Ms\. # or "Ms.",
| Jr\. # or "Jr.",
| Dr\. # or "Dr.",
| Prof\. # or "Prof.",
| Sr\. # or "Sr.",
| \s[A-Z]\. # or initials ex: "George W. Bush",
# or... (you get the idea).
) # End negative lookbehind.
\s+ # Split on whitespace between sentences.
/ix';
$sentences = preg_split($re, $story, -1, PREG_SPLIT_NO_EMPTY);
于 2011-09-15T23:55:58.710 回答
0
我正在使用这个正则表达式：
preg_split('/(?<=[.?!])\s(?=[A-Z"\'])/', $text);
不适用于以数字开头的句子，但也应该很少有误报。当然，你在做什么也很重要。我的程序现在使用
explode('.',$text);
因为我认为速度比准确性更重要。
于 2011-04-26T17:29:44.017 回答
0
作为一种低技术方法，您可能需要考虑在循环中使用一系列explode调用，使用 .、! 和 ? 作为你的针。这将非常占用内存和处理器（就像大多数文本处理一样）。您将拥有一堆临时数组和一个主数组，其中所有找到的句子都以正确的顺序进行数字索引。
此外，您还必须检查常见的异常（例如Mr.和Dr.等标题中的 . ），但由于所有内容都在数组中，这些类型的检查应该不会那么糟糕。
我不确定这在速度和缩放方面是否比正则表达式更好，但值得一试。您想将这些文本块分成多大的句子？
于 2011-04-26T16:42:17.287 回答
0
建立一个这样的缩写列表
$skip_array = array (
'Jr', 'Mr', 'Mrs', 'Ms', 'Dr', 'Prof', 'Sr' , etc.
将它们编译成表达式
$skip = '';
foreach($skip_array as $abbr) {
$skip = $skip . (empty($skip) ? '' : '|') . '\s{1}' . $abbr . '[.!?]';
}
最后运行这个 preg_split 来分解成句子。
$lines = preg_split ("/(?<!$skip)(?<=[.?!])\s+(?=[^a-z])/",
$txt, -1, PREG_SPLIT_NO_EMPTY);
如果您正在处理 HTML，请注意标记被删除，从而消除句子之间的空格。<p></p>如果你把situations.Like它where.They粘在一起，它就会变得非常难以解析。
于 2011-04-30T19:55:53.530 回答
0
@ridgerunner 我用 C# 编写了你的 PHP 代码
结果我得到了两句话：
- J. Dujardin régle sa 先生
- A.特别是。独特性
正确的结果应该是句子：Mr. J. Dujardin régle sa TVA en esp. 独特性
和我们的测试段落
string sText = "This is sentence one. Sentence two! Sentence three? Sentence \"four\". Sentence \"five\"! Sentence \"six\"? Sentence \"seven.\" Sentence 'eight!' Dr. Jones said: \"Mrs. Smith you have a lovely daughter!\" The T.V.A. is a big project!";
结果是
index: 0 sentence: This is sentence one.
index: 22 sentence: Sentence two!
index: 36 sentence: Sentence three?
index: 52 sentence: Sentence "four".
index: 69 sentence: Sentence "five"!
index: 86 sentence: Sentence "six"?
index: 102 sentence: Sentence "seven.
index: 118 sentence: " Sentence 'eight!'
index: 136 sentence: ' Dr. Jones said: "Mrs. Smith you have a lovely daughter!
index: 193 sentence: " The T.V.
index: 203 sentence: A. is a big project!
C#代码：
string sText = "Mr. J. Dujardin régle sa T.V.A. en esp. uniquement";
Regex rx = new Regex(@"(\S.+?
[.!?] # Either an end of sentence punct,
| [.!?]['""] # or end of sentence punct and quote.
)
(?<! # Begin negative lookbehind.
Mr. # Skip either Mr.
| Mrs. # or Mrs.,
| Ms. # or Ms.,
| Jr. # or Jr.,
| Dr. # or Dr.,
| Prof. # or Prof.,
| Sr. # or Sr.,
| \s[A-Z]. # or initials ex: George W. Bush,
| T\.V\.A\. # or "T.V.A."
) # End negative lookbehind.
(?=|\s+|$)",
RegexOptions.CultureInvariant | RegexOptions.IgnorePatternWhitespace | RegexOptions.Compiled);
foreach (Match match in rx.Matches(sText))
{
Console.WriteLine("index: {0} sentence: {1}", match.Index, match.Value);
}
于 2013-08-22T07:35:34.860 回答