solr - 将文档从 SOLR 移动到 elasticsearch

Question

我正在使用 Python 代码和 Pysolr 将 SOLR 中的所有文档移动到 elasticsearch。

使用 pysolr 我只能访问 499 个文档，它可以访问整个文档集。

Answer 1

可以使用 pysolr API 中的 offset 和 size 参数以 499 个为一组访问这些文档，我在更详细地检查了 Pysolr api 后发现了这一点。示例代码附在下面：

limit = 499
offset = 0
while True:
    kwargs = {'sort':'id DESC'}
    response = source.search(q='projectid:774 AND source:FACEBOOK', start=offset, rows=limit, **kwargs  )
    print(len(response.docs))

    offset = offset + limit

    if len(response.docs) == 0:
        break

    # Do neccessary Operations
    pass