2

我正在使用 Selenium 和 Firefox 在 python 中抓取。

我可以使用以下方法将我的 href 放入对象中:

HREF = node.find_elements_by_xpath(".//a") # Get the href's under the current node

它返回一堆<a>看起来像这样的标签:

<a href="http://example.com" class="" title="The Link" data-ipshover="" data-ipshover-target="http://example.com/?preview=1" data-ipshover-timeout="1.5" id="ips_uid_1234_9">
    <span>The Link</span>
</a>

返回了多个链接,但如果我只关注第一个链接:

print dir(HREF[0])
print "#########"
print HREF[0].text
print HREF[0].id
print HREF[0].get_attribute("title")
print HREF[0].get_attribute("href")
print HREF[0].get_attribute("data-ipshover-timeout")
print HREF[0].get_attribute("id")
print "#########"

输出这个:

['__class__', '__delattr__', '__dict__', '__doc__', '__eq__', 
'__format__', '__getattribute__', '__hash__', '__init__', '__module__', 
'__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', 
'__setattr__', '__sizeof__', '__str__', '__subclasshook__', 
'__weakref__', '_execute', '_id', '_parent', '_upload', '_w3c', 
'anonymous_children', 'clear', 'click', 
'find_anonymous_element_by_attribute', 'find_element', 
'find_element_by_class_name', 'find_element_by_css_selector', 
'find_element_by_id', 'find_element_by_link_text', 
'find_element_by_name', 'find_element_by_partial_link_text', 
'find_element_by_tag_name', 'find_element_by_xpath', 'find_elements', 
'find_elements_by_class_name', 'find_elements_by_css_selector', 
'find_elements_by_id', 'find_elements_by_link_text', 
'find_elements_by_name', 'find_elements_by_partial_link_text', 
'find_elements_by_tag_name', 'find_elements_by_xpath', 'get_attribute', 
'get_property', 'id', 'is_displayed', 'is_enabled', 'is_selected', 
'location', 'location_once_scrolled_into_view', 'parent', 'rect', 
'screenshot', 'screenshot_as_base64', 'screenshot_as_png', 'send_keys', 
'size', 'submit', 'tag_name', 'text', 'value_of_css_property']
#########    
The Link
101b851e-67dd-4907-a2da-2dc1828cb09c
The Link
http://example.com
1.5

#########

请注意,最后一个属性 print 是空白的,什么时候应该返回ips_uid_1234_9。其他所有属性都返回正常,所以我不确定为什么“id”不能正确返回。

4

1 回答 1

1

我是个傻瓜。下次需要使用同一个浏览器来抓取和查看源代码。属性不会在 Firefox 中加载,但会在 Chrome 中加载。

于 2017-11-06T05:13:10.753 回答