1

def boolean_search_and(self, text):

    results = []
    and_tokens = self.tokenize(text)
    tokencount = len(and_tokens)

    term1 = and_tokens[0]
    print ' term 1:', term1

    term2 = and_tokens[1]
    print ' term 2:', term2

    #for term in and_tokens:
    if term1 in self._inverted_index.keys():
        resultlist1 = self._inverted_index[term1]
        print resultlist1
    if term2 in self._inverted_index.keys():
        resultlist2 = self._inverted_index[term2]
        print resultlist2
    #intersection of two sets casted into a list                
    results = list(set(resultlist1) & set(resultlist2)) 
    print 'results:', results

    return str(results)

此代码适用于两个标记，例如：text= "Hello World" 和标记 = ['hello', 'world']。我想将它概括为多个标记，因此文本可以是一个句子，也可以是整个文本文件。
self._inverted_index 是将令牌保存为键的字典，值是键/令牌出现的 DocID。

你好 -> [1,2,5,6]
世界 -> [1,3,5,7,8]
结果：
你好和世界 -> [1,5]

我想达到以下结果：说，（（（你好和计算机）和科学）和世界）

我正在努力使这项工作适用于多个单词，而不仅仅是两个单词。我今天早上开始使用 python，所以我不知道它必须提供的很多功能。

有任何想法吗？

4

2 回答 2

1

我想将它概括为多个令牌

def boolean_search_and_multi(self, text):
    and_tokens = self.tokenize(text)
    results = set(self._inverted_index[and_tokens[0]])
    for tok in and_tokens[1:]:
        results.intersection_update(self._inverted_index[tok])
    return list(results)
于 2010-09-13T04:20:54.837 回答
0

内置的集合类型对你有用吗？

$ python
Python 2.6.5 (r265:79063, Jun 12 2010, 17:07:01)
[GCC 4.3.4 20090804 (release) 1] on cygwin
Type "help", "copyright", "credits" or "license" for more information.
>>> hello = set([1,2,5,6])
>>> world = set([1,3,5,7,8])
>>> hello & world
set([1, 5])
于 2010-09-13T04:19:51.673 回答