1

我尝试使用以下命令下载 ctrl alt del 漫画。

$ for filename in $(seq 20021023 20100503); do wget http://www.ctrlaltdel-online.com/comics/"$filename".jpg; done

我收到以下错误代码，bash: syntax error near unexpected token 'do'

我也尝试过使用 cURL，使用这个命令，

curl http://ctrlaltdel-online.com/comics[20021023..20100503].jpg

我收到以下错误代码，curl: (3) [globbing] error: bad range specification after pos 37

出了什么问题，我该如何解决？

4

2 回答 2

2

正如 msw 指出的那样，抓取网站可能是非法的、不道德的、激怒作者的，或者完全没问题。请负责任地使用您的脚本能力并为善 (tm)。请求许可当然是一件好事。

请注意，ctrlaltdel-online.com Web 服务器似乎返回 HTTP 403 禁止 wget 与正常 wget 用户代理字符串。模拟一些 Firefox-ish 似乎绕过了这一点（尽管我敢打赌他们只是明确拒绝 wget，这表明他们很可能禁止这种类型的访问）。

USERAGENT='Mozilla/5.0 Firefox/3.6.3'
for DAYS in $(seq 365)
do
    NEXT=`date -d "${DAYS} days ago" +%Y%m%d`
    wget -U "${USERAGENT}" "http://www.cad-comic.com/comics/cad/${NEXT}.jpg"
done

用更大的数字替换365可以追溯到一年多。wget 输出可能很烦人，因此您可以通过 -q 使其安静。

于 2010-05-08T02:57:14.843 回答
0

我正在编写相同的脚本。这里是。

import sys
import re
import urllib
import os
import ctypes
from urllib import FancyURLopener

class MyOpener(FancyURLopener):
    version = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; it;rv:1.8.1.11)Gecko/20071127 Firefox/2.0.0.11'


def getlinks(add,m,opener):
    ufile=opener.open(add)
    html=ufile.read()
    dates=re.findall('href="/cad/(\d+)">',html)
    links=[]
    for date in dates:
            if date[4:6]==m:
            links.append('http://www.cad-comic.com/cad/'+date)
    links.reverse()
    print 'Total {} comics found.'.format(len(links))
    #print len(links)
    return links

def getstriplink(link,opener):
    ufile=opener.open(link)
    html=ufile.read()
    url=re.search('img src="(.+)" alt="(.+)" title=',html)
    date=link[-8:]
    return(url.group(1),url.group(2),date)



def main():
    y=raw_input('Enter year 2002 - current(yyyy) ')
    m=raw_input('Enter month(only months 12,11 and 10 for 2002)(mm) ')
    add='http://www.cad-comic.com/cad/archive/'+y
    opener=MyOpener()
    links=getlinks(add,m,opener)
    f=open('/media/aux1/pythonary/cad'+str(y)+str(m)+'.html','w')
    print 'downloading'
    for link in links:
        url=getstriplink(link,opener)
        #date=url[0][-8:]
        date=url[2]
        opener.retrieve(url[0],'/media/aux1/pythonary/getcad_files/strip'+date)
        sys.stdout.flush()
        print'.',
        f.write('<h2>'+url[1]+' '+date+'</h2>'+'<p><img src="getcad_files/strip'+date+'"/></p>')

    f.close()




if __name__ == '__main__':
  main()
于 2012-03-13T17:25:15.953 回答