我是 Elasticsearch 的新手，一直在尝试使用摄取插件（我已经发布了几个关于此的问题）。有人建议我应该使用 Fscrawler。我正在使用 Elasticsearch 5.5.1 并且我已经安装了 Fscrawler 2.3。我安装了 java 8.0.1，并创建了一个指向 Java 目录的环境变量“JAVA_HOME”。使用 Kibana 我创建了以下内容：
PUT _ingest/pipeline/docs
{
"description": "documents",
"processors" : [
{
"attachment" : {
"field": "data",
"indexed_chars" : -1
}
}]
}
PUT myindex
{
"mappings" : {
"documents" : {
"properties" : {
"attachment.data" : {
"type": "text",
"analyzer": "standard"
}
}
}
}
}
在我的 Fscrawler 的 _settings 文件中，我已将 url 设置为我的文档文件夹，并在我包含的 elaasticsearch 部分中"index" : "myindex"
使用 powershell 命令.\fscrawler mydocs --loop 1
下面是命令的输出。
这是我的 fscrawler _settings.json 文件
{
"name" : "docs",
"fs" : {
"url" : "w:\\Elasticsearch\\Docs",
"update_rate" : "15m",
"excludes" : [ "~*" ],
"json_support" : false,
"filename_as_id" : false,
"add_filesize" : true,
"remove_deleted" : true,
"add_as_inner_object" : false,
"store_source" : false,
"index_content" : true,
"attributes_support" : false,
"raw_metadata" : true,
"xml_support" : false,
"index_folders" : true,
"lang_detect" : false,
"continue_on_error" : false,
"pdf_ocr" : true
},
"elasticsearch" : {
"nodes" : [ {
"host" : "127.0.0.1",
"port" : 9200,
"scheme" : "HTTP"
} ],
"index" : "myindex",
"bulk_size" : 100,
"flush_interval" : "5s",
"username" : "elastic",
"password" : "changeme"
},
"rest" : {
"scheme" : "HTTP",
"host" : "127.0.0.1",
"port" : 8080,
"endpoint" : "fscrawler"
}
}