python-3.x - Elasticsearch-py 批量助手相当于 curl 文件

Question

我希望使用 elasticsearch python 客户端（并且不使用subprocess）复制以下命令：

curl -s -XPOST "localhost:9200/index_name/_bulk" --data-binary @file

我试图在没有任何运气的情况下使用批量助手：

es = Elasticsearch()

with open("file") as fp:
    bulk(
        client=es,
        index="index_name",
        actions=fp
    )

这会导致type is missing错误。

该文件在使用时处理得很好curl，看起来有点像这样：

{"index":{"_type":"someType","_id":"123"}}
{"field1":"data","field2":"data",...}
{"index":{"_type":"someType","_id":"456"}}
{"field1":"data","field2":"data",...}
...

请注意，我宁愿不更改文件的内容，因为我有大约 21000 个具有相同格式的文件。

Answer 1

该actions参数必须采用迭代文件的行的可迭代（不是文件句柄），因此您需要这样做：

es = Elasticsearch()

def readbulk():
    for line in open("file"):
        yield line

bulk(
    client=es,
    index="index_name",
    actions=readbulk
)