0

我想从网页中提取所有链接。到目前为止，这是我的代码。

import mechanize
import lxml.html
from time import sleep

links = list()
visited_links = list()

br = mechanize.Browser()

def findLinks(url):
    response = br.open(url)
    visited_links.append(response.geturl())

    for link in br.links():
        response = br.follow_link(link)
        links.append(response.geturl())
        sleep(1)


findLinks("http://temelelektronik.net")

for link in links:
    if link in visited_links:
        links.remove(link)
    else:
        findLinks(link)
        print link

for link in visited_links:
    print link

事实上我不想写一个网络爬虫。我想做的是从网页中提取所有链接并创建站点地图。我还想知道是否可以使用 mechanize 和 python 从服务器获取文件的最后修改时间。

我想问的是，这段代码片段是否适用于 HTML 页面。它不会从 php 页面中提取链接。例如这个页面。如何从 php 页面中提取链接？

任何帮助，将不胜感激。谢谢..

4

3 回答 3

2

我不知道 mechanize，但我使用了pattern.web模块，它有一个易于使用的 HTML DOM Parser。我认为站点地图类似于您正在寻找的内容：

from pattern.web import URL, DOM

url = URL("http://temelelektronik.net")
dom = DOM(url.download())
for anchor in dom.by_tag('a'):
    print(anchor.href)
于 2013-02-10T04:04:19.630 回答
0

特定于 Mechanize 的语法如下。

代理=机械化.new

page=agent.get(URL)

page.links 返回页面中所有链接的数组。

page.links.first.text 返回第一个链接的文本（不带 href）。

page.link_with(:text=>"Text").click 将返回单击特定页面会产生的页面

希望这可以帮助

于 2014-10-12T11:02:11.797 回答
0

这是另一个使用网络蜘蛛访问每个链接的解决方案。

import os, sys; sys.path.insert(0, os.path.join("..", ".."))

from pattern.web import Spider, DEPTH, BREADTH, FIFO, LIFO

class SimpleSpider1(Spider):

    def visit(self, link, source=None):
        print "visiting:", link.url, "from:", link.referrer

    def fail(self, link):
        print "failed:", link.url

spider1 = SimpleSpider1(links=["http://www.temelelektronik.net/"], domains=["temelelektronik.net"], delay=0.0)

print "SPIDER 1 " + "-" * 50
while len(spider1.visited) < 5:
    spider1.crawl(cached=False)
于 2013-02-10T12:45:52.770 回答