4

上：Heritrix用例有一个“仅存储成功的 HTML 页面”的用例

我的问题：我不知道如何在我的 cxml 文件中实现它。特别是：将 ContentTypeRegExpFilter 添加到 ARCWriterProcessor => 将其正则表达式设置设置为 text/html.*。...示例 cxml 文件中没有 ContentTypeRegExpFilter。

4

2 回答 2

7

Kris 的回答只说对了一半（至少对于我正在使用的 Heritrix 3.1.x）。DecideRule 返回 ACCEPT、REJECT 或 NONE。如果规则返回 NONE，则意味着该规则对此“没有意见”（如 Spring Security 中的 ACCESS_ABSTAIN）。现在ContentTypeMatchesRegexDecideRule（与所有其他MatchesRegexDecideRule 一样）可以配置为在正则表达式匹配时返回决策（由两个属性“decision”和“regex”配置）。该设置意味着如果正则表达式匹配，则此规则返回 ACCEPT 决定，但如果不匹配则返回 NONE。正如我们所看到的 - NONE 不是一种意见，因此 shouldProcessRule 将评估为 ACCEPT，因为尚未做出任何决定。

因此，要仅归档带有 text/html* Content-Type 的响应，请配置一个 DecideRuleSequence，其中默认情况下所有内容都被拒绝，并且只有选定的条目将被接受。

这看起来像这样：

 <bean id="warcWriter" class="org.archive.modules.writer.WARCWriterProcessor">
   <property name="shouldProcessRule">
     <bean class="org.archive.modules.deciderules.DecideRuleSequence">
       <property name="rules">
         <list>
           <!-- Begin by REJECTing all... -->
           <bean class="org.archive.modules.deciderules.RejectDecideRule" />
           <bean class="org.archive.modules.deciderules.ContentTypeMatchesRegexDecideRule">
             <property name="decision" value="ACCEPT" />
             <property name="regex" value="^text/html.*" />
           </bean>
         </list>
       </property>
     </bean>
   </property>
   <!-- other properties... -->
 </bean>

为了避免完全下载图像、电影等，请使用 MatchesListRegexDecideRule 配置“范围”bean，以拒绝具有众所周知的文件扩展名的 url，例如：

<!-- ...and REJECT those from a configurable (initially empty) set of URI regexes... -->
<bean class="org.archive.modules.deciderules.MatchesListRegexDecideRule">
      <property name="decision" value="REJECT"/>
      <property name="listLogicalOr" value="true" />
      <property name="regexList">
       <list>
         <value>.*(?i)(\.(avi|wmv|mpe?g|mp3))$</value>
         <value>.*(?i)(\.(rar|zip|tar|gz))$</value>
         <value>.*(?i)(\.(pdf|doc|xls|odt))$</value>
         <value>.*(?i)(\.(xml))$</value>
         <value>.*(?i)(\.(txt|conf|pdf))$</value>
         <value>.*(?i)(\.(swf))$</value>
         <value>.*(?i)(\.(js|css))$</value>
         <value>.*(?i)(\.(bmp|gif|jpe?g|png|svg|tiff?))$</value>
       </list>
      </property>
</bean>
于 2013-10-02T12:05:09.167 回答
1

您引用的用例有些过时，并参考 Heritrix 1.x（过滤器已替换为决定规则，配置框架非常不同）。基本概念还是一样的。

cxml 文件基本上是一个 Spring 配置文件。您需要将shouldProcessRuleARCWriter bean 上的属性配置为ContentTypeMatchesRegexDecideRule

一个可能的 ARCWriter 配置：

  <bean id="warcWriter" class="org.archive.modules.writer.ARCWriterProcessor">
    <property name="shouldProcessRule">
      <bean class="org.archive.modules.deciderules.ContentTypeMatchesRegexDecideRule">
        <property name="decision" value="ACCEPT" />
        <property name="regex" value="^text/html.*">
      </bean>
    </property>
    <!-- Other properties that need to be set ... -->
  </bean>

这将导致处理器只处理那些与 DecideRule 匹配的项目，而后者又只传递那些内容类型（mime 类型）与提供的正则表达式匹配的项目。

请注意“决策”设置。你在我们外面统治事情吗？（我的例子规定了事情，任何不匹配的东西都被排除在外）。

正如shouldProcessRule从处理器继承的那样，这可以应用于任何处理器。

有关配置 Heritrix 3 的更多信息，请参阅Heritrix 3 Wiki（crawler.archive.org 上的用户指南是关于 Heritrix 1）

于 2010-08-16T16:47:28.000 回答