python - 我如何使用scrapy提取带有一些文本匹配的链接

Question

我想关注文本中有 Next 的那些链接，例如

<div id="pagination"
<a href="#" > 1 </a>
<a href="#" > 2 </a>
<a href="#" > 3 </a>
<a href="#" > Next </a>
</div>

我怎么能做到这一点，我scrapy。它也是最后的选择

Answer 1

创建一个扩展BaseSgmlLinkExtractor并提供process_value可调用的类，如文档中所示