3

我相信需要帮助编译 Heritrix 决定规则，尽管我对其他 Heritrix 建议持开放态度：https ://webarchive.jira.com/wiki/display/Heritrix/Configuring+Crawl+Scope+Using+DecideRules

我需要抓取网站的整个副本（在 crawler-beans.cxml 种子列表中），但不抓取任何外部（场外）页面。应下载呈现当前网站所需的任何外部资源，但不要跟随任何指向场外页面的链接 - 只有当前页面/域的资产。

例如，渲染页面所需的 CDN 内容可能托管在外部域（可能是 AWS 或 Cloudflare）上，因此我需要下载该内容，并关注所有域内链接，但不要关注任何链接到当前域范围之外的页面。

4

1 回答 1

2

您可以使用 3 个决定规则：

  • 第一个接受所有非 html 页面，使用ContentTypeNotMatchesRegexDecideRule;
  • 第二个接受当前域中的所有 url。
  • 第三个拒绝所有不在域中且未从域直接到达的页面（alsoCheckVia 选项）

所以是这样的：

<bean id="scope" class="org.archive.modules.deciderules.DecideRuleSequence">
 <property name="rules">
  <list>
   <!-- Begin by REJECTing all... -->
   <bean class="org.archive.modules.deciderules.RejectDecideRule" />

   <bean class="org.archive.modules.deciderules.ContentTypeNotMatchesRegexDecideRule">
    <property name="decision" value="ACCEPT"/>
    <property name="regex" value="(?i)html|wml"/>
   </bean>
   <bean class="org.archive.modules.deciderules.surt.SurtPrefixedDecideRule">
    <property name="decision" value="ACCEPT"/>
    <property name="surtsSource">
     <bean class="org.archive.spring.ConfigString">
      <property name="value">
       <value>
        http://(org,yoursite,
       </value>
      </property> 
     </bean>
    </property>
   </bean>
   <bean class="org.archive.modules.deciderules.surt.NotSurtPrefixedDecideRule">
    <property name="decision" value="REJECT"/>
    <property name="alsoCheckVia" value="true"/>
    <property name="surtsSource">
     <bean class="org.archive.spring.ConfigString">
      <property name="value">
       <value>
        http://(org,yoursite,
       </value>
      </property> 
     </bean>
    </property>
   </bean>
  </list>
 </property>
</bean>
于 2015-05-27T13:25:27.673 回答