0

我无法抓取http://www.jobs.ch使用 react.js 编程的主页。我想把这个词Business放在搜索框中并执行搜索。Dryscrape 为另一个不是 react.js 页面的示例工作。

我怎样才能Business在这个搜索字段中写下这个词？

我的脚本执行时的错误消息：

ubuntu@ubuntu:~/scripts$ python jobs.py
Traceback (most recent call last):
  File "jobs.py", line 30, in <module>
    name.set("Business")
AttributeError: 'NoneType' object has no attribute 'set'

这是我的脚本：

#We will write a Python script to visit a webpage. Fill in the form and   submit the form.
#!/usr/bin/env python
# -*- coding:utf-8 -*-

import dryscrape

# make sure you have xvfb installed
dryscrape.start_xvfb()

root_url = 'http://www.jobs.ch/en/vacancies/'

if __name__ == '__main__':
# set up a web scraping session
session = dryscrape.Session(base_url = root_url)

# we don't need images
session.set_attribute('auto_load_images', False)

session.set_header('User-agent', 'Google Chrome')

# visit exact webpage which is the form in this example
session.visit('http://www.jobs.ch/en/vacancies/')

# fill in the form by taking ID of field from webdev tool
#name = session.at_xpath('//*[@data-reactid="107]')
name = session.at_xpath('//*[@data-reactid="107"]//*[@class="search-input col-sm-4 col-md-5"]')

name.set("Business")

# submit form
name.form().submit()

# save a screenshot of the web page
session.render("jobs.png")
print("Session rendered successfully!")
4

1 回答 1

1

我认为您的 xpath 有问题，但除此之外，您的会话本身配置不正确。

这条线

session = dryscrape.Session(base_url = root_url)

将 URL 的基础设置为您的root_url，所以当您这样做时，您session.visit('http://www.jobs.ch/en/vacancies/')实际上是在访问您的 root_url 和 session.visit 中提供的 URL 的串联。

如果您print session.url()能够看到您实际访问的 URL 是http://www.jobs.ch/en/vacancies/http://www.jobs.ch/en/vacancies/

我从 Chrome -> Inspect -> Right Click -> Copy XPath 获得的页面的 xpath 是//*[@id="react-root"]/div/div[1]/div/div[2]/div/div[3]/div[2]/div/div/div/div/div[2]/div/div[1]/div/input

请确认您使用的是正确的 xpath。

于 2017-03-27T11:10:46.697 回答