web-services - 为特定 html 元素抓取一批 url 并检索图像的最佳方法是什么？

Question

我正在寻找大约 100 个结构相同的网页，但我需要的图像在每个实例中都有不同的名称。

图片标签位于：

#content div.artwork img.artwork

我需要下载该结果的 src url。

有任何想法吗？我在 .txt 文件中有网址，并且在 mac os x 盒子上。

Answer 1

我不确定如何在文件上使用类似查询的“选择器”，但 Perl 正则表达式也可以完成这项工作：

for url in `cat urls.txt`; do wget -O- $url; done | \
  perl -nle 'print $1 if /<img.+?class="artwork".+?src="([^"]+)"/'