python-2.7 - 索引网页时如何使用返回URL的xapian

Question

我正在使用 Ubuntu 12.04、Python 2.7

我从给定 URL 获取内容的代码：

def get_page(url):
'''Gets the contents of a page from a given URL'''
    try:
        f = urllib.urlopen(url)
        page = f.read()
        f.close()
        return page
    except:
        return ""
    return ""

要过滤由提供的页面的内容get_page(url)：

def filterContents(content):
'''Filters the content from a page'''
    filteredContent = ''
    regex = re.compile('(?<!script)[>](?![\s\#\'-<]).+?[<]')
    for words in regex.findall(content):
        word_list = split_string(words, """ ,"!-.()<>[]{};:?!-=/_`&""")
        for word in word_list:
            filteredContent = filteredContent + word
    return filteredContent

def split_string(source, splitlist):
    return ''.join([ w if w not in splitlist else ' ' for w in source])

如何对 in 进行索引filteredContent，Xapian以便在查询时返回URLs查询所在的位置？

Answer 1

我不完全清楚您filterContents()和split_string()实际尝试做什么（丢弃一些 HTML 标记内容，然后分词），所以让我谈谈一个类似的问题，它没有复杂性。

假设我们有一个strip_tags()只返回 HTML 文档的文本内容的函数，以及您的get_page()函数。我们想建立一个 Xapian 数据库，其中

• 每个文档代表从特定 URL 提取的资源表示
• 该表示中的“单词”（已通过strip_tags()）成为索引这些文档的可搜索词
• 每个文档都包含作为其文档数据的 URL，它是从中提取的。

所以你可以索引如下：

import xapian
def index_url(database, url):
    text = strip_tags(get_page(url))
    doc = xapian.Document()

    # TermGenerator will split text into words
    # and then (because we set a stemmer) stem them
    # into terms and add them to the document
    termgenerator = xapian.TermGenerator()
    termgenerator.set_stemmer(xapian.Stem("en"))
    termgenerator.set_document(doc)
    termgenerator.index_text(text)

    # We want to be able to get at the URL easily
    doc.set_data(url)
    # And we want to ensure each URL only ends up in
    # the database once. Note that if your URLs are long
    # then this won't work; consult the FAQ on unique IDs
    # for more: http://trac.xapian.org/wiki/FAQ/UniqueIds
    idterm = 'Q' + url
    doc.add_boolean_term(idterm)
    db.replace_document(idterm, doc)

# then index an example URL
db = xapian.WritableDatabase("exampledb", xapian.DB_CREATE_OR_OPEN)

index_url(db, "https://stackoverflow.com/")

搜索就很简单了，尽管如果需要它显然可以变得更复杂：

qp = xapian.QueryParser()
qp.set_stemmer(xapian.Stem("en"))
qp.set_stemming_strategy(qp.STEM_SOME)
query = qp.parse_query('question')
query = qp.parse_query('question and answer')
enquire = xapian.Enquire(db)
enquire.set_query(query)
for match in enquire.get_mset(0, 10):
    print match.document.get_data()

这将显示“ https://stackoverflow.com/ ”，因为当您未登录时，主页上会显示“问答”。

我建议您查看Xapian 入门指南，了解概念和代码。