我正在尝试从该网站http://saintbarnabas.hodesiq.com/joblist.asp?user_id=抓取 ,我想获取其中的所有 RN... 我可以抓取数据但无法继续到下一页,因为它的javascript。我尝试阅读其他问题,但我不明白。这是我的代码
class MySpider(CrawlSpider):
name = "commu"
allowed_domains = ["saintbarnabas.hodesiq.com"]
start_urls = ["http://saintbarnabas.hodesiq.com/joblist.asp?user_id=",
]
rules = (Rule (SgmlLinkExtractor(allow=('\d+'),restrict_xpaths=('*'))
, callback="parse_items", follow= True),
)
下一个按钮显示为
<a href="Javascript: Move('next')">Next</a>
这个分页杀了我...