问题标签 [dataimporthandler]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
solr - solr 数据导入错误:索引失败。回滚所有更改
当我运行“带有清理的完整导入”命令时,错误是“索引失败。回滚所有更改”
我的数据导入配置文件:
solr - Solr 核心的 numDocs 不等于已处理文档的总和
我在构建 Solr 索引时遇到问题(Apache Tomcat 6.0.33 上的 Lucene 和 Solr 3.4.0)。
要索引的文档的数据来自 Oracle 数据库。由于我必须处理大量 CLOB,因此我将数据导入拆分为多个 requestHandler 以提高性能,同时从数据库中获取数据(多线程模拟)。这些 requestHandlers 在我的 solrconfig.xml 中配置如下:
为了构建索引,我使用 clean=true 选项启动第一个 DataImportHandler,然后启动所有其他段的完全导入。当所有段都通过时,状态页面(http://host/solr/segment-#)告诉我,对于每个段,获取了正确的行数(根据数据库中的 SELECT COUNT(*) 语句)并进行处理。到目前为止还好。
但是,如果我现在调用核心的状态页面(http://host/solr/admin/core),numDocs 并不是所有段的总和。总有一些文件丢失。我尝试了几次索引构建,差异总是不同的。总之,索引中应该有 830 万个文档,但实际上总是有大约 100.000 个条目丢失。numDocs 与我*:*
通过 Solr 管理界面查询时可以找到的数字相同。
我打开了信息流,查看了日志条目,还有 Tomcat 日志,但没有找到线索。我究竟做错了什么?
我正在使用 17 个 requestHandler,我的 <indexDefaults> 配置如下:
非常感谢帮助。非常感谢您!
solr - 从 solr 索引中清除已删除的文档
我在我的网站上使用 solr,但我有一个小问题。索引效果很好。
我从我的数据库中删除了一些文档(我有 50 个文档,现在有 41 个)。我已经开始数据导入,solr 告诉他索引了 41 个文档(很棒),删除了 0 个(奇怪)。问题是我仍然可以搜索已删除的文档。这是为什么?我用过clean=true
,但它没有改变任何东西。
如何从不存在的索引文档中删除?
oracle - solr clobtransformer
ClobTransformer
从过去的 3 天开始,我被困在 solr 中。我想将 oracle clob 字段转换为 solr 中的文本字段。我正在使用多个内核,并且从头开始我的配置和模式文件。
这是我的配置文件:
这些是我的架构文件中的核心列:
这是我的核心 data-config.xml:
当我启动 solr 时,我可以在控制台中看到 dataimporthandler*.jar 文件已成功加载。当我从 运行我的数据导入时http://localhost:8983/solr/wiki/dataimport?command=full-import&clean=false
,我在控制台中看不到任何错误,也看不到与变压器或 clob 相关的任何内容。所以,如果我在我的转换器参数(transformer="bla bla bla")中输入任何内容,它不会在控制台中引发任何错误,这可能意味着我的转换器参数被完全忽略或完整的日志记录被关闭。
当我查询 solr 时,我在 mandp 字段中看到了oracle.sql.CLOB@375c929a 。如果我也使用 HTMLStripTransformer 类,当然什么也不会发生。我想在这个领域使用两者。
任何想法表示赞赏!
php - 索引未刷新 Solr 搜索中的数据
我是 solr 搜索的新手。我已成功安装它,当我将数据库查询写入data-config.xml
并在 Web 浏览器上运行 URL 时,它响应了正确的结果。但是现在当我对数据库查询进行一些更改并刷新浏览器时,即使我的查询是正确的,它也不会改变结果。我也试过重新启动 solr 没有成功。我正在使用码头进行 solr。
solr - SOLR 增量导入时间戳问题
我是 SOLR 的新手,正在对这项技术进行一些研究。我现在有一个关于 delta-import 函数的问题,所以我查看了 SO 并发现了这个:Solr DataImportHandler delta import。在答案中[date_update]
提到了一个字段,它似乎是记录的时间戳。
我的问题是: [date_update] 是在创建记录时存储在表中的时间戳吗?如果是这样,如果数据库服务器的日期与安装 SOLR 的服务器不完全同步,这会不会产生问题?如果 Solr 服务器时间早于 SQLServer 时间,这可能会遗漏一些记录。
java - Solr 数据导入请求处理程序异常
我已经在 centos 盒子上配置了我的 solr,并将我的 solrconfig.xml 配置为使用“dataimporthandler”插件。
我的 solrconfig 包含以下配置:
并且“data-config.xml”包含正确的数据库连接。
但是,当我访问该插件时: http://localhost:8080/solr_app/dataimport(有或没有命令),我收到以下错误:
真正令人讨厌的部分是这些错误没有明确指出什么是错误的。请注意,我可以在本地桌面上毫无问题地进行设置。在在线的“Centos 5.7”盒子上运行它......错误!
提前致谢。
solr - 在将数据导入 solr 时拆分多值字段
当涉及到多个值时,我很难理解 solr 3.4。我有这个 DIH:
现在,我的问题是当这个 b_cats 被索引时,我得到了这个结果:
但我认为它应该是每个节点上的一个节点。
当我尝试使用此字段进行分面时,我得到“place1,place2”= xx 结果,而不是 place1 = xx 和 place2 xx。
有人可以在这个问题上指出我正确的方向吗?
谢谢 ;)
sql-server - DataImportHandlerException:无法执行查询
我试图搜索我的具体问题,但没有找到解决方案。我还阅读了 DIH 上的 wiki,似乎一切都设置正确,但我的查询仍然失败。谢谢您的帮助
我正在使用 Tomcat 6.0 Windows server 2003 r2 和 SQL 2008 运行 Solr 3.1
我有 sqljdbc4.jar 位于 C:\Program Files\Apache Software Foundation\Tomcat 6.0\lib
我的 solrconfig.xml
我的 db-data-config.xml
日志内容:
solr - Solr 数据导入挂起
我正在尝试从 SQLServer 加载到 Solr。每次我运行数据导入时,该过程都会在连接到数据库后挂起并且永远不会完成。我在日志中没有看到任何有用的信息——任何想法都会很棒。这是我的 data-config.xml
这是我在日志文件中看到的:
处理程序和配置文件似乎正确加载,我确保 SQL Server Browser 正在运行并且 TCP/IP 已启用。如果我在数据导入 UI 中运行,我得到的唯一消息是命令仍在运行,并且向数据源发出了一个请求。
连接字符串有问题吗?我可以在任何地方查找更多日志记录详细信息吗?