我的目标:我想获取给定站点上存在的所有链接。
我的问题:如果网站打开并且一段时间后没有显示其他内容,则以下方法可以正常工作。
import lxml.html, urllib
connection = urllib.urlopen('http://www.youtube-mp3.org/?c#v=l8F4vdF-bJc')
dom = lxml.html.fromstring(connection.read())
for link in dom.xpath('//a/@href'):
print(link)
不幸的是,上面的代码无法从一段时间后显示的网站内容中获取链接。(例如本站:http ://www.youtube-mp3.org/get?video_id=KMU0tzLwhbE 提供了转换完成后文件的链接,上述方法无法捕捉到该链接)
我的问题:如何在一段时间后获得显示在网站上的 Python 链接?