问题标签 [dataimporthandler]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
7714 浏览

lucene - Solr DIH -- 如何处理已删除的文档?

我正在为我的 web 应用程序使用 Solr 驱动的搜索,我认为最好使用 DataImportHandler 来处理通过数据库与应用程序同步。我喜欢只是检查last_updated_date字段的优雅。好东西。但是,我不知道如何使用这种方法处理删除文档。在我看来,我有两个选择。我可以在删除文档时从客户端向 Solr 发送显式消息,或者我可以添加“已删除”标志并将对象保留在数据库中,这样 Solr 会注意到文档已更改并且现在已“删除” 。” 我可以添加一个查询过滤器,它会忽略带有已删除标志的结果,但将所有已删除文档包含在 Lucene 索引中似乎效率低下。其他人做什么?

0 投票
1 回答
748 浏览

rss - PySolr rss 数据导入

我正在使用 PySolr 运行我的搜索。我想索引一个 rss 提要,想知道这是否可以使用 PySolr,如果可以,你是如何做到的。

我在http://wiki.apache.org/solr/DataImportHandler#HttpDataSource_Example找到了有关如何在 Solr 中执行此操作的说明

但找不到任何关于如何在 PySolr 中执行等效操作的信息

谢谢

0 投票
1 回答
2506 浏览

solr - 使用 Solr DataImportHandler 缺少 url 字段

我是 Solr 的新手,在使用 DataImportHandler 时遇到了困难。服务器启动时我收到此消息:
2010 年 1 月 27 日下午 12:27:22 org.apache.solr.handler.dataimport.DataImportHandler processConfiguration

信息:处理来自 solrconfig.xml 的配置:{config=dih-gensigdb-jdbc.xml} 2010 年 1 月 27 日下午 12:27:22 org.apache.solr.handler.dataimport.DataImporter loadDataConfig 信息:数据配置已成功加载 Jan 27 , 2010 12:27:22 PM org.apache.solr.handler.dataimport.DataImporter verifyWithSchema INFO: url 是 SolrSchema 中的必填字段。但在 DataConfig 中找不到

我的 dataConfig 不包含 url 字段,但我不确定为什么需要它。当我使用 DIH 控制台并尝试调试配置时,我在文档导入期间收到以下错误:

org.apache.solr.common.SolrException:文档 [null] 缺少必填字段:url

我的 dataConfig 看起来像这样:
<dataConfig> <dataSource name="jdbc" driver="oracle.jdbc.driver.OracleDriver" url="jdbc:oracle:thin:@localhost:1521:xe" user="genesigdb" password="genesigdb"/> <document name="PMID"> <entity name="PMID" dataSource="jdbc" query="SELECT PMID FROM PUBLICATION"> </entity> </document> </dataConfig>

0 投票
2 回答
2812 浏览

solr - Solr dataimport 跳过我的 data-config.xml 中的实体

我的 data-config.xml 在文档标签下定义了 3 个不同的实体(我们称它们为 foo、bar 和 baz)。当我发出基本的完全导入 localhost:8983/solr/dataimport?command=full-import 时,3 个实体中只有 2 个被索引(foo 和 bar 在我的索引中,但 baz 从未成功)。但是,如果我随后发出命令通过 localhost:8983/solr/dataimport?command=full-import&entity=baz&clean=false 仅导入 baz ,它会很好地添加 baz 文档,然后索引具有所有 3 种类型。

有没有人对为什么一个实体在一般数据导入中被跳过但如果我特别指出它仍然可以正常工作有任何想法?是否有我可以检查的错误/警告日志?/solr/logs/ 中没有显示任何不好的内容,但这些似乎只是请求日志。

0 投票
1 回答
74 浏览

lucene - Solr DatImportHandler,同一类型的多个结果?

嘿,伙计们,这里的一些帮助将一如既往地不胜感激。

我正在使用 Solr 从数据库中索引数据。第一个表 event_titles 中的每一行可以有多个与之关联的开始日期,包含在表 event_dates 中。数据配置如下;

使用 DIH 开发控制台,我可以看到它按应有的方式返回每个日期,但它只保存第一个日期,例如;

但是,运行选择时的结果如下......

我会虽然它会将所有返回的日期放入开始“数组”中?

任何人都可以阐明这是否可能吗?

干杯!

0 投票
2 回答
2847 浏览

jdbc - Solr DataImporter 配置异常

启动 Apache Solr Admin (Win7),在配置 Solr DataImportHandler 以使用 JDBC SQLServerDriver 连接到 SQL Server 后,会产生以下错误。MS Sql JDBC 连接器 sqljdbc4.jar 放在 Solr 的 bin 和 lib 文件夹中。

solrconfig.xml 有:

数据配置.xml 是:

任何建议将被认真考虑。

0 投票
2 回答
1321 浏览

solr - Solr:用于多语言索引和多值字段的 DIH?

我有一个 MySQL 表:

我有 2 个关于 Solr DIH 的问题:

1)该langauge_code字段表示该text字段的语言。根据语言,我想索引text到不同的 Solr 字段。

DIH 可以处理这样的用例吗?我该如何配置它呢?

2) 该tags字段需要被索引到一个 SolrmultiValued字段中。多个值存储在一个字符串中,用逗号分隔。例如,如果tags包含字符串,"blue, green, yellow"那么我想将 3 个值"blue", "green",索引"yellow"到 Solr 多值字段中。

我如何使用 DIH 做到这一点?

谢谢。

0 投票
1 回答
211 浏览

lucene - 使用 solr DIH 时出现 OOM

大家好:使用DIH执行完整导入命令时出现OOM错误,数据库是sql server 2008,db中只有30k行数据,我该如何解决?在此先感谢您的帮助:)

0 投票
1 回答
1022 浏览

lucene - Solr 如何使用 DataImportHandler 删除物理删除的文档

我已经阅读了 solr wiki,我知道可以使用 deletedPkQuery 删除逻辑删除的文档,但是如何使用 DataImportHandler 删除物理删除的文档?

0 投票
1 回答
840 浏览

apache - SOLR DataImportHandler 不计算表达式

我正在尝试使用 SOLR DataImportHandler 来提供数据。当我只从根实体导入一个字段时,配置简单明了,一切正常。

但是当我尝试从嵌套实体中导入字段时,它不起作用,我真的很困惑和卡住。

这是我的数据配置中的相关片段:

当我尝试使用打开详细信息的 DIH 开发控制台调试导入时,我可以看到如下内容:

我认为有趣的一点是实体b中的 3 个查询,其中 id 字段为空。在我看来,就像${a.b_id}没有被评估,但我不知道为什么。

有人可以帮忙吗?提前致谢。