python - 如何获取每个页面中的所有应用程序链接？

Question

我有这个代码：

import urllib
from bs4 import BeautifulSoup

url = "http://www.padtube.com/Audio-Files-Player/30-01-1-2.html"
pageurl = urllib.urlopen(url)
soup = BeautifulSoup(pageurl)

for b in soup.select("table#dl-tbl-list th a[href]"):
    print b['href']

当我运行这段代码时，它只给我第一页上的链接。我无法在下一页获得申请链接。

Answer 1

该站点post用于转到下一页，因此您需要通过邮寄方式发送页码。

我通过http://www.python-requests.org/做到了这一点

import urllib
from bs4 import BeautifulSoup

import requests

url = "http://www.padtube.com/Audio-Files-Player/30-01-1-2.html"
#pageurl = urllib.urlopen(url)

pageurl = requests.post(url, data = {
    'page': 2
})


pageurl = pageurl.text

soup = BeautifulSoup(pageurl)

for b in soup.select("table#dl-tbl-list th a[href]"):
    print b['href']