0

我正在尝试解析存储在 file_data 列中表 document_attachment 中的数据库中的二进制内容数据，并尝试对其进行索引，以便其内容可用于使用 Solr 进行搜索。当我运行索引器时，它获取的行数是在名为“dcs”的实体中运行查询返回的行数的两倍，并且不会引发错误或异常。但是，它不索引二进制内容（尽管从表中获取它，但我与 tika 关联的字段）。

我正在使用 apache-solr-3.6.1 和 Tika 1.0

我的配置文件看起来像：

数据配置.xml

<?xml version="1.0" encoding="UTF-8"?>
<dataConfig>
 <dataSource
          driver="com.mysql.jdbc.Driver"
          url="jdbc:mysql://localhost/espritkm_1?zeroDateTimeBehavior=convertToNull"
          user="root"
          password=""
          autoCommit="true" batchSize="-1"
          convertType="false"
          name="test"
          />

  <dataSource name="fieldReader" type="FieldStreamDataSource" />
  <document name="items">
  <entity name="dcs"
          query="SELECT 222000000000000000+d.id AS common_id_attr,d.id AS id,UNIX_TIMESTAMP(d.created_at)  AS date_added,d.file_name as common1, d.description as common2, d.file_mime_type as common3, 72 as common4,(Select group_concat(trim(tags) ORDER BY trim(tags) SEPARATOR ' | ') from tags t where t.type_id = 72 AND t.feature_id = d.id group by t.feature_id) as common5,d.created_by as common6, df.name as common7,CONCAT(d.file_name,'.',d.file_mime_type) as common8,'' as common9,(Select da.file_data from document_attachment da where da.document_id = d.id) as text  FROM document d LEFT JOIN document_folder df ON df.id = d.document_folder_id  WHERE d.is_deleted = 0 and d.parent_id = 0 " dataSource="test" transformer="TemplateTransformer">

<field column="common_id_attr" name="common_id_attr" />
    <field column="id" name="id" />
        <entity dataSource="fieldReader" processor="TikaEntityProcessor" dataField="dcs.text" format="text" pk="dcs.id" >  

    <field column="text" name="text" />
   </entity>
 </entity>

架构.xml

   <schema>
    <fields> 
     <field name="common_id_attr" type="string" indexed="true" stored="true" multiValued="false"/>
     <field name="id" type="string" indexed="true" stored="true"/>
     <field name="text" type="text" indexed="true" stored="true" multiValued="true"/>
   </fields> 
  <uniqueKey>common_id_attr</uniqueKey>
  <solrQueryParser defaultOperator="OR"/>
  <defaultSearchField>text</defaultSearchField>
 </schema>

尽管它获取的行数是单独计算 tika 行的文档数量的两倍（我不明白为什么？）。它不索引二进制内容。

我长期陷入这个问题。有人可以帮忙吗

4

1 回答 1

1

我能够使用 Apache Solr 3.6.2 版对文档进行索引。我在这里描述了这些步骤：

http://tuxdna.wordpress.com/2013/02/04/indexing-the-documents-stored-in-a-database-using-apache-solr-and-apache-tika/

我认为它在 3.6.1 中也应该是可行的。当官方网站上只有 3.6.2 可用时，我只是迫不及待地想搜索 3.6.1 版本的 tarball。

我希望这会有所帮助。

于 2013-02-04T13:08:40.287 回答