如果这是一个重复的问题，我深表歉意，但我在 SO 或其他似乎可以处理我需要的问题上找不到另一个问题。这是我的问题：
我用来从这个网页scrapy中获取一些信息。为清楚起见，以下是我感兴趣的该网页的源代码块：
<p class="titlestyle">ANT101H5 Introduction to Biological Anthropology and Archaeology
<span class='distribution'>(SCI)</span></p>
<span class='normaltext'>
Anthropology is the global and holistic study of human biology and behaviour, and includes four subfields: biological anthropology, archaeology, sociocultural anthropology and linguistics. The material covered is directed to answering the question: What makes us human? This course is a survey of biological anthropology and archaeology. [<span class='Helpcourse'
onMouseover="showtip(this,event,'24 Lectures')"
onMouseout="hidetip()">24L</span>, <span class='Helpcourse'
onMouseover="showtip(this,event,'12 Tutorials')"
onMouseout="hidetip()">12T</span>]<br>
<span class='title2'>Exclusion: </span><a href='javascript:OpenCourse("WEBCOURSENOTFOUND.html")'>ANT100Y5</a><br>
<span class='title2'>Prerequisite: </span><a href='javascript:OpenCourse("WEBCOURSEANT102H5.pl?fv=1")'>ANT102H5</a><br>
</span><br/><br/<br/>
该页面上的几乎所有代码都类似于上面的代码块。
从所有这些中，我需要抓住：
- ANT101H5 生物人类学和考古学概论
- 排除：ANT100Y5
- 先决条件：ANT102H5
问题是它Exclusion:在 a里面<span class="title2">并且ANT100Y5在下面的里面<a>。
我似乎无法从这个源代码中获取它们。目前，我有尝试（并且失败）抓取的代码，ANT100Y5如下所示：
hxs = HtmlXPathSelector(response)
sites = hxs.select("//*[(name() = 'p' and @class = 'titlestyle') or (name() = 'a' and @href and preceding-sibling::'//span/@class=title2')]")
我将不胜感激任何帮助，即使它是“你因为没有看到另一个完美回答这个问题的 SO 问题而失明”（在这种情况下，我自己将投票关闭这个问题）。我真的很无能为力。
提前致谢
编辑：@Dimitre 建议的更改后完成原始代码
我正在使用以下代码：
class regcalSpider(BaseSpider):
name = "disc"
allowed_domains = ['www.utm.utoronto.ca']
start_urls = ['http://www.utm.utoronto.ca/regcal/WEBLISTCOURSES1.html']
def parse(self, response):
items = []
hxs = HtmlXPathSelector(response)
sites = hxs.select("/*/p/text()[1] | \
(//span[@class='title2'])[1]/text() | \
(//span[@class='title2'])[1]/following-sibling::a[1]/text() | \
(//span[@class='title2'])[2]/text() | \
(//span[@class='title2'])[2]/following-sibling::a[1]/text()")
for site in sites:
item = RegcalItem()
item['title'] = site.select("a/text()").extract()
item['link'] = site.select("a/@href").extract()
item['desc'] = site.select("text()").extract()
items.append(item)
return items
filename = response.url.split("/")[-2]
open(filename, 'wb').write(response.body)
这给了我这个结果：
[{"title": [], "link": [], "desc": []},
{"title": [], "link": [], "desc": []},
{"title": [], "link": [], "desc": []}]
这不是我需要的输出。我究竟做错了什么？请记住，如前所述，我在 this 上运行此脚本。