问题标签 [dih]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
2758 浏览

apache - 如何在 Apache Solr 索引中索引 blob 字段?

我正在使用 Apache Solr 来索引我的数据,我也有想要索引的 blob 字段......但我不知道要在“scheme.xml”中声明的 fieldType 是什么......

我试过以下:

“字段名称=“抽象”类型=“文本”索引=“真”存储=“真”必填=“真”“

但是当我尝试搜索时,该字段显示为:

id、摘要、标题、价格、publishedDate

1, [B@1e9b7b2, 西班牙消费者, 3795.0, 2009-01-19T18:30:00Z

'abstract' 是我的 blob 文件,它只是大字符串......我想在同一个字段上进行文本搜索,但是当我对其进行索引时,它会显示为这样......请建议我该怎么办?

提前感谢...

0 投票
1 回答
685 浏览

solrj - 嵌入式 Solr DIH

谁能告诉我如何在 Solrj 中配置 Embedded Solr DIH?我试过这个..

SolrQuery qry = new SolrQuery(); qry.setQueryType("/import"); qry.setParam("command", "full-import"); qry.setParam("clean", false); embeddedSolrServer.query(qry);

它停在这一点上。

1437 [main] INFO org.apache.solr.core.CoreContainer - 注册核心:main

1468 [Thread-1] INFO org.apache.solr.handler.dataimport.DataImporter - 开始完全导入

1468 [main] INFO org.apache.solr.core.SolrCore - [main] webapp=null path=/import params={qt=%2Fimport&command=full-import&clean=false} status=0 QTime=15

在此之后,我希望在 Solr HTTP Server 中得到类似的东西:

阅读 import.properties

org.apache.solr.handler.dataimport.JdbcDataSource$1 调用为带有 URL 的实体 ID 创建连接:jdbc:mysql://localhost/solrdb

org.apache.solr.handler.dataimport.JdbcDataSource$1 调用

等等...

提前致谢 :)

0 投票
1 回答
458 浏览

solr - 在 Solr 中使用 DIH 导入时如何从 rss 提要转换 pubDate?

我在 solr 中使用 RSS DIH 来索引各种 rss 提要。我面临的问题是日期字段。RSS 中的 pubDate 返回不是 Solr 期望的格式,因此当我使用这个 rss-data-config.xml 文件启动我的 Solr 时出现异常。有人能告诉我如何将 rss 日期转换为 rss-data-config.xml 文件中的 solr 预期日期格式吗?

在 Schema.xml 中,我将 pubDate 定义为日期。

这是我的 rss-data-config.xml 的外观:

请帮忙。

0 投票
1 回答
1707 浏览

tomcat - Solr Delta-import 什么都不做

我是 Solr 的新手,无法弄清楚为什么 Delta 导入什么都不做,而完全导入却可以正常工作。每当我运行 Delta-import 时,我都会得到相同的响应,但没有提及添加任何新文档。每当编辑/添加该行时,该updated_at列就存在并且包含正确的。timestamp

我是否错过了让 Delta 导入工作所需的东西?

的输出http://domain.com:8080/solr/dataimport?command=delta-import

数据配置.xml

0 投票
1 回答
6935 浏览

solr - 加快 solr 索引

Solr 索引耗时太长。我正在使用超过 3000 万条记录的 mysql。我正在使用两级子查询。请建议我索引数据的最佳做法,以便我可以加快流程。

0 投票
1 回答
3166 浏览

mysql - Solr - 数据导入处理程序 - 完全导入 - 默认情况下 Clean=False?

版本:apache-solr-3.5.0

对于完全导入,您可以设置 url 参数 clean=false。

但是,是否可以将“clean”默认设置为“false”,例如 XML 配置之类的东西?

如果没有,是否可以以任何方式禁用完全导入?

谢谢!

0 投票
1 回答
562 浏览

mysql - MySQL表中的所有数据也应该存储在solr中吗?

嗨,我有一个 MySQL 表,我想主要进行范围搜索,我希望它快。所有新数据首先存储在 MySQL 中,然后每分钟使用 DIH 增量导入 Solr。每天大约生成 20,000 行。

MySQL 架构

MySQL 表包含 6 列,我想对其进行范围搜索(其中 2 列是TIMESTAMPs,并且有一对地理空间坐标),12 列TINYINT包含01。还有 30 列不需要搜索,其中 1 列是主键id

问题:是否建议将所有 48 列存储在 solr 中并仅在 solr 中进行搜索?或者我应该只将我想要搜索的列存储在 solr 中,然后只id从 solr 检索搜索结果,然后SELECT从 MySQL 表中检索我想要使用的行?

所有帮助表示赞赏!:)

0 投票
1 回答
73 浏览

solr - 是否可以使用文件路径调用 dih?

我正在做一个项目,每次操作后都会生成一个日志。每当使用此文件的路径作为参数生成新日志时,是否可以调用 DIH?

0 投票
1 回答
4805 浏览

search - 使用 dataimporthandler solr 导入 csv

我正在尝试将 solr 与 DIH 一起使用来索引 csv 文件。我已经使用 solr wiki 上提到的补丁 SOLR-2549 修补了我的 DIH 库(请参阅http://wiki.apache.org/solr/DataImportHandler#Configuration_in_data-config.xml-1),以便在不使用 Transformers 的情况下导入 csv 文件连同 LineEntityProcessor。

不幸的是,我无法进行导入工作,并且出现以下错误堆栈:

我认为这与我的数据配置有关。这是我的 data-config.xml 文件:

任何人都可以帮助我理解这个问题或使用修补的 LineEntityProcessor 版本提供一个清晰的配置文件来导入 csv 文件吗?

0 投票
1 回答
202 浏览

mysql - 在solr中逐行索引表

我对Solr有点陌生,我正在尝试在 solr 中索引大约 100 万条推文,以便之后能够搜索它们

我在MYSQL数据库中有这些推文我知道如何在 Solr 中索引单独的文件,但实际上我不能将推文分成 1M 文件

所以我问是否有办法在solr中逐行索引sql表

我已经尝试过:

  • 在 Solr 中索引单独的 xml 文件
  • 我知道它可以从DataImportHandler处理,但对教程有点困惑