php - 如何替换和计算单词或单词序列的频率？

Question

我需要做两件事，首先，找到一个给定的文本，它是最常用的单词和单词序列（限于n）。例子：

Lorem * ipsum * dolor sit amet , consectetur adipiscing elit。Nunc auctor urna sed urna mattis nec interdum magna ullamcorper。Donec ut lorem eros，id rhoncus nisl。Praesent sodales lorem vitae sapien volutpat et accumsan lorem viverra。Proin lectus elit ， cursus ut feugiat ut，porta sit amet leo。Cras est nisl, aliquet quis lobortis sat amet , viverra non erat。Faucibus orci luctus et ultrices posuere cubilia Curae 的前庭前庭；整数 euismod scelerisque quam, et aliquet nibh dignissim at。Pellentesque ut elit内克。Etiam facilisis nisl eu mauris luctus in consequat libero volutpat。Pellentesque auctor, justo in suscipit mollis, erat justo sollicitudin ipsum , in cursus erat ipsum id turpis。在tincidunt hendrerit scelerisque。

（有些词我被省略了，但这是一个例子）。

我想结果是sat amet而不是sat and amet

关于如何开始的任何想法？

其次，我需要将给定文件中给定列表中匹配的所有单词或单词序列包装起来。

为此，我认为通过降低长度对结果进行排序，然后在替换函数中处理每个字符串，以避免如果我的列表中有另一个坐词，则将坐 amet包装起来。这是一个好方法吗？！

谢谢

Answer 1

我前段时间尝试解决第一部分，请参见此处：

http://corexii.com/freqwordseq/

Lorem Ipsum 的示例（不是你的，而是他们之一）：

http://corexii.com/freqwordseq/?file=loremipsum&minfreq=2&minseq=1&maxseq=4

这很慢，但这是一个开始。你想要做的是权衡匹配，以便匹配中的单词越多，权重越高，使序列比构成这些序列的单个单词更重要。然后你可能想要优化例程。

Answer 2

这是一个功能性的解决方案，仍然可以进行一些清理。我的一般算法是这样的：

1. 将所有单词分解成一个列表w，去除多余的空格和标点符号
2. 从偏移量 0 开始查找w的所有n长度块的数组
3. 查找从偏移量 1 开始 的w的所有n长度块的数组
   • ...继续，直到您找到从偏移量n -1开始的n长度块的数组
   • 注意：如果w的最后一个块不是n长度，则不要将其包含在块数组中
4. 将所有块数组连接为c
5. 找出 c中每个值的频率

---

$sample = 'Lorem *ipsum* dolor sit amet, consectetur adipiscing elit. Nunc auctor urna sed urna mattis nec interdum magna ullamcorper. Donec ut lorem eros, id rhoncus nisl. Praesent sodales lorem vitae sapien volutpat et accumsan lorem viverra. Proin lectus elit, cursus ut feugiat ut, porta sit amet leo. Cras est nisl, aliquet quis lobortis sit amet, viverra non erat. Vestibulum ante ipsum  primis in faucibus orci luctus et ultrices posuere cubilia Curae; Integer euismod scelerisque quam, et aliquet nibh dignissim at. Pellentesque ut elit neque. Etiam facilisis nisl eu mauris luctus in consequat libero volutpat. Pellentesque auctor, justo in suscipit mollis, erat justo sollicitudin ipsum, in cursus erat ipsum id turpis. In tincidunt hendrerit scelerisque.';

function buildPhrases($string, $length) {

    $onlyWords = preg_replace('/\p{P}/', '', $string);
    $wordArray = preg_split('/\s+/s', $onlyWords);

    function buildPhraseChunks($wordArray, $length, $offset = 0)    
    {
        if ($offset >= $length) {
            return array();
        } else {
            $offsetWordArray = array_slice($wordArray, $offset);
            return array_merge(
                array_chunk($offsetWordArray, $length),             
                buildPhraseChunks(
                    $wordArray, $length, $offset + 1
                )
            );
        }
    }

    $onlyLengthN = function ($n) {
        return function($a) use ($n) {
            return count($a) == $n;
        };
    };

    $concatWords = function ($a, $b) {
        return $a . ' ' . $b;
    };

    $reduce = function ($a) use ($concatWords) {
        return array_reduce($a, $concatWords);
    };

    $format = function ($a) {
        return strtolower(trim($a));
    };

    $chunks = array_filter(
        buildPhraseChunks($wordArray, $length),
        $onlyLengthN($length)
    );
    $phrases = array_map($reduce, $chunks);
    $formattedPhrases = array_map($format, $phrases);

    return $formattedPhrases;

}

$phrases = buildPhrases($sample, 1);
$dropOnes = function($a) {
    return $a != 1;
};
$freqCount = array_filter(
    array_count_values($phrases),
    $dropOnes
);

arsort($freqCount);

print_r($freqCount);