1

我有一个简单的 redisearch 索引，我用 Python 创建：

>>> from redisearch import Client, TextField
>>> c = Client('common_words')
>>> c.create_index((TextField('body'),))
b'OK'
>>> c.add_document('ibiza', body='kevin paul dad')
b'OK'
>>> c.add_document('england', body='kevin dad')
b'OK'
>>> c.add_document('bank', body='kevin robber')
b'OK'

然后我可以搜索一个特定的单词，效果很好：

>>> c.search('kevin')
Result{3 total, docs:
   [Document {'id': 'bank', 'payload': None, 'body': 'kevin robber'},
    Document {'id': 'england', 'payload': None, 'body': 'kevin dad'},
    Document {'id': 'ibiza', 'payload': None, 'body': 'kevin paul dad'}
   ]}

有没有一种快速的方法来提取单词列表以及出现的情况？我的目标是这样的结果：

{ Result{4 total, counts:
   [ Word { 'word': 'kevin', 'count': 3},
     Word { 'word': 'dad', 'count': 2 },
     Word { 'word': 'paul', 'count': 1 },
     Word { 'word': 'robber', 'count': 1 } ] }

我已经看过如何使用这个例子进行字数统计nltk，zincrby但想知道是否已经有一种方法可以从redisearch.

4

1 回答 1

2

您目前可以做到的唯一方法是使用聚合（https://oss.redislabs.com/redisearch/Aggregations.html）。您可以询问所有结果，然后加载您感兴趣的字段，用“，”分割句子并计算每个短语出现的次数。查询将如下所示：

127.0.0.1:6379> FT.AGGREGATE idx * LOAD 1 @test APPLY "split(@test, ' ')" as s 
GROUPBY 1 @s REDUCE count 0 as count
1) (integer) 4
2) 1) s
   2) "paul"
   3) count
   4) "1"
3) 1) s
   2) "kevin"
   3) count
   4) "3"
4) 1) s
   2) "dad"
   3) count
   4) "2"
5) 1) s
   2) "robber"
   3) count
   4) "1"

注意以下几点：聚合的目的是聚合结果集。有一些配置变量会限制结果集的大小。一旦达到此限制，搜索查询将不会返回所有结果，聚合阶段也不会处理所有结果。可以配置其中一些变量来增加这些限制（例如 MAXEXPANSIONS），但如果您打算处理数百万个结果，您最终会达到这些限制（而且您的查询将需要很长时间才能完成）。正确的方法是使用比“*”更具体的查询来减少结果集，然后使用聚合对较小的结果集进行额外计算。

于 2019-09-22T07:42:33.660 回答