问题标签 [dataimporthandler]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
7554 浏览

solr - solr 数据导入错误:索引失败。回滚所有更改

当我运行“带有清理的完整导入”命令时,错误是“索引失败。回滚所有更改”

我的数据导入配置文件:

0 投票
1 回答
1219 浏览

solr - Solr 核心的 numDocs 不等于已处理文档的总和

我在构建 Solr 索引时遇到问题(Apache Tomcat 6.0.33 上的 Lucene 和 Solr 3.4.0)。

要索引的文档的数据来自 Oracle 数据库。由于我必须处理大量 CLOB,因此我将数据导入拆分为多个 requestHandler 以提高性能,同时从数据库中获取数据(多线程模拟)。这些 requestHandlers 在我的 solrconfig.xml 中配置如下:

为了构建索引,我使用 clean=true 选项启动第一个 DataImportHandler,然后启动所有其他段的完全导入。当所有段都通过时,状态页面(http://host/solr/segment-#)告诉我,对于每个段,获取了正确的行数(根据数据库中的 SELECT COUNT(*) 语句)并进行处理。到目前为止还好。

但是,如果我现在调用核心的状态页面(http://host/solr/admin/core),numDocs 并不是所有段的总和。总有一些文件丢失。我尝试了几次索引构建,差异总是不同的。总之,索引中应该有 830 万个文档,但实际上总是有大约 100.000 个条目丢失。numDocs 与我*:*通过 Solr 管理界面查询时可以找到的数字相同。

我打开了信息流,查看了日志条目,还有 Tomcat 日志,但没有找到线索。我究竟做错了什么?

我正在使用 17 个 requestHandler,我的 <indexDefaults> 配置如下:

非常感谢帮助。非常感谢您!

0 投票
1 回答
1532 浏览

solr - 从 solr 索引中清除已删除的文档

我在我的网站上使用 solr,但我有一个小问题。索引效果很好。

我从我的数据库中删除了一些文档(我有 50 个文档,现在有 41 个)。我已经开始数据导入,solr 告诉他索引了 41 个文档(很棒),删除了 0 个(奇怪)。问题是我仍然可以搜索已删除的文档。这是为什么?我用过clean=true,但它没有改变任何东西。

如何从不存在的索引文档中删除?

0 投票
2 回答
2197 浏览

oracle - solr clobtransformer

ClobTransformer从过去的 3 天开始,我被困在 solr 中。我想将 oracle clob 字段转换为 solr 中的文本字段。我正在使用多个内核,并且从头开始我的配置和模式文件。

这是我的配置文件:

这些是我的架构文件中的核心列:

这是我的核心 data-config.xml:

当我启动 solr 时,我可以在控制台中看到 dataimporthandler*.jar 文件已成功加载。当我从 运行我的数据导入时http://localhost:8983/solr/wiki/dataimport?command=full-import&clean=false,我在控制台中看不到任何错误,也看不到与变压器或 clob 相关的任何内容。所以,如果我在我的转换器参数(transformer="bla bla bla")中输入任何内容,它不会在控制台中引发任何错误,这可能意味着我的转换器参数被完全忽略或完整的日志记录被关闭。

当我查询 solr 时,我在 mandp 字段中看到了oracle.sql.CLOB@375c929a 。如果我也使用 HTMLStripTransformer 类,当然什么也不会发生。我想在这个领域使用两者。

任何想法表示赞赏!

0 投票
1 回答
215 浏览

php - 索引未刷新 Solr 搜索中的数据

我是 solr 搜索的新手。我已成功安装它,当我将数据库查询写入data-config.xml并在 Web 浏览器上运行 URL 时,它响应了正确的结果。但是现在当我对数据库查询进行一些更改并刷新浏览器时,即使我的查询是正确的,它也不会改变结果。我也试过重新启动 solr 没有成功。我正在使用码头进行 solr。

0 投票
2 回答
3179 浏览

solr - SOLR 增量导入时间戳问题

我是 SOLR 的新手,正在对这项技术进行一些研究。我现在有一个关于 delta-import 函数的问题,所以我查看了 SO 并发现了这个:Solr DataImportHandler delta import。在答案中[date_update]提到了一个字段,它似乎是记录的时间戳。

我的问题是: [date_update] 是在创建记录时存储在表中的时间戳吗?如果是这样,如果数据库服务器的日期与安装 SOLR 的服务器不完全同步,这会不会产生问题?如果 Solr 服务器时间早于 SQLServer 时间,这可能会遗漏一些记录。

0 投票
1 回答
1420 浏览

java - Solr 数据导入请求处理程序异常

我已经在 centos 盒子上配置了我的 solr,并将我的 solrconfig.xml 配置为使用“dataimporthandler”插件。

我的 solrconfig 包含以下配置:

并且“data-config.xml”包含正确的数据库连接。

但是,当我访问该插件时: http://localhost:8080/solr_app/dataimport(有或没有命令),我收到以下错误:

真正令人讨厌的部分是这些错误没有明确指出什么是错误的。请注意,我可以在本地桌面上毫无问题地进行设置。在在线的“Centos 5.7”盒子上运行它......错误!

提前致谢。

0 投票
1 回答
5626 浏览

solr - 在将数据导入 solr 时拆分多值字段

当涉及到多个值时,我很难理解 solr 3.4。我有这个 DIH:

现在,我的问题是当这个 b_cats 被索引时,我得到了这个结果:

但我认为它应该是每个节点上的一个节点。

当我尝试使用此字段进行分面时,我得到“place1,place2”= xx 结果,而不是 place1 = xx 和 place2 xx。

有人可以在这个问题上指出我正确的方向吗?

谢谢 ;)

0 投票
2 回答
6124 浏览

sql-server - DataImportHandlerException:无法执行查询

我试图搜索我的具体问题,但没有找到解决方案。我还阅读了 DIH 上的 wiki,似乎一切都设置正确,但我的查询仍然失败。谢谢您的帮助

我正在使用 Tomcat 6.0 Windows server 2003 r2 和 SQL 2008 运行 Solr 3.1

我有 sqljdbc4.jar 位于 C:\Program Files\Apache Software Foundation\Tomcat 6.0\lib

我的 solrconfig.xml

我的 db-data-config.xml

日志内容:

0 投票
1 回答
1681 浏览

solr - Solr 数据导入挂起

我正在尝试从 SQLServer 加载到 Solr。每次我运行数据导入时,该过程都会在连接到数据库后挂起并且永远不会完成。我在日志中没有看到任何有用的信息——任何想法都会很棒。这是我的 data-config.xml

这是我在日志文件中看到的:

处理程序和配置文件似乎正确加载,我确保 SQL Server Browser 正在运行并且 TCP/IP 已启用。如果我在数据导入 UI 中运行,我得到的唯一消息是命令仍在运行,并且向数据源发出了一个请求。

连接字符串有问题吗?我可以在任何地方查找更多日志记录详细信息吗?