-1

我正在尝试提取此邮件列表的每个标题，同时记录每个线程有多少回复。

根据 Firebug，<ul>包含所有标题的 Xpath 是：

/html/body/table[2]/tbody/tr 1 /td[2]/table/tbody/tr/td/ul

但是，如果我将其直接粘贴到 Scrapy Shell 中，它将产生一个空列表：

scrapy shell http://seclists.org/fulldisclosure/2002/Jul/index.html
response.xpath('/html/body/table[2]/tbody/tr[1]/td[2]/table/tbody/tr/td/ul')
[]

经过一些试验和错误（因为我无法从文档中找出任何方法来列出给定选择器中的直接子元素（如果您知道，请告诉他们），我发现元素“tbody”在 Xpath 上不起作用。通过删除它们，我能够导航到/td：

almost_email_threads = response.xpath('/html/body/table[2]/tr[1]/td[2]/table/tr/td')

但是，如果我现在尝试达到“ul”，它将不起作用：

email_threads.xpath('/ul')
[]

现在，最让我困惑的是运行：

response.xpath('/html/body/table[2]/tr[1]/td[2]/table/tr/td//ul')

会给我 ul，但与网站上出现的顺序不同。它以不同的顺序跳过线程。此外，似乎无法计算每个线程的回复量。

我在这里想念什么？自从我使用 Scrapy 已经有一段时间了，但我不记得有这么难弄清楚，而且无论出于何种原因，我的 Bing 或 Google 上的教程都没有。

4

1 回答 1

-2

我从未使用过 Firebug，但查看您引用的 HTML 页面，我会说以下 XPath 表达式将为您提供所有顶级线程：

//li[not(ancestor::li) and ./a/@name]

从每个列表元素开始，您需要计算列表子元素的数量以获取对任何给定线程的回复量。

使用 Scrapy shell，这将导致：

> scrapy shell http://seclists.org/fulldisclosure/2002/Jul/index.html
In [1]: threads = response.xpath('//li[not(ancestor::li) and ./a/@name]')
In [2]: for thread in threads:
   ...:     print thread, len(thread.xpath('descendant::li'))
<Selector xpath='//li[not(ancestor::li) and ./a/@name]' data=u'<li><a name="0" href="0">Testing</a> <em'> 0
<Selector xpath='//li[not(ancestor::li) and ./a/@name]' data=u'<li><a name="1" href="1">full disclosure'> 4
<Selector xpath='//li[not(ancestor::li) and ./a/@name]' data=u'<li><a name="3" href="3">The Death Of TC'> 1
<Selector xpath='//li[not(ancestor::li) and ./a/@name]' data=u'<li><a name="7" href="7">Re: Announcing '> 24
[...]

关于如何列出给定选择器中的所有子元素的问题，您只需要意识到在选择器上运行 XPath 查询的结果是SelectorList每个列表元素都实现Selector接口。所以你可以简单地再次使用 XPath 来列出所有的孩子：

In [3]: thread.xpath('child::*')
Out[3]: 
[<Selector xpath='child::*' data=u'<a name="309" href="309">it\'s all about '>,
 <Selector xpath='child::*' data=u'<em>Florin Andrei (Jul 31)</em>'>,
 <Selector xpath='child::*' data=u'<ul>\n<li><a name="313" href="313">it\'s a'>]
于 2016-08-02T11:26:52.417 回答