4

我正在尝试抓取一个网站。通过Python中的“urllib2.urlopen”或R 中的“htmlTreeParse”进行传统的 HTML 解析，无法从网页中获取数据。这是由服务器有意完成的，因此查看源不会显示显示的数据，但是当我使用谷歌浏览器中的检查元素功能（通过右键单击谷歌浏览器中的网站）时，我能够看到数据（项目列表及其信息）。我的问题是如何以编程方式启动所需的页面并保存每个页面的检查元素。或者，如果我可以有一个程序来启动这些链接并以某种方式使用 Control-S 将每个链接的 html 副本保存到本地磁盘。

4

2 回答 2

3

您可以使用greasemonkey 或tampermonkey 很容易地做到这一点。您只需在用户脚本中定义 url，然后导航到要调用的页面。您可以使用包含 iframe 的首页，该 iframe 按计划导航到每个页面。当页面显示在 iframe 中时，用户脚本会运行，并且您的数据会被保存。

脚本是基本的 javascript，没什么花哨的，如果您需要初学者，请告诉我。最大的收获是下载文件，这是 JS 的一个相当新的功能，但使用下载库很简单，就像我的（无耻）。

因此，基本上，您可以拥有一个带有 url 列表的 textarea，每行一个，抓取一行并将 iframe 的 .src 设置为 url，调用用户脚本。您可以使用 CSS 查询选择器深入到页面，或保存整个页面，只需获取您需要其代码的标记的 .outerHTML。如果需要，我会很乐意说明，但是一旦你让它工作，你将永远不会再回到服务器-服务器抓取。

编辑：

一个框架调度程序页面，用于简单地将每个需要的页面加载到 iframe 中，从而触发 userScript：

<html>
<iframe id=frame1></iframe>
<script>
var base="http://www.yelp.ca/search?cflt=coffee&find_loc=Toronto,%20ON&start="; //the part of the url that stays the same
var pages=[20, 40, 60, 80];  //all the differing url parts to be concat'd at the end
var delay= 1000 * 30; //30 sec delay, adjust if needed
var slot=0; //current shown page's index in pages

function doNext(){
  var page=pages[slot++];
  if(!page){ page=pages[slot=0]; }
  frame1.src=base+page;
}

setInterval(doNext, delay);
</script>
</html>

EDIT2：用户脚本代码：

// ==UserScript==
// @name       yelp scraper
// @namespace  http://anon.org
// @version    0.1
// @description  grab listing from yelp
// @match     http://www.yelp.ca/search?cflt=coffee&find_loc=Toronto,%20ON&start=*
// @copyright  2013, dandavis
// ==/UserScript==


function Q(a,b){var t="querySelectorAll";b=b||document.documentElement;if(!b[t]){return}if(b.split){b=Q(b)[0]}return [].slice.call(b[t](a))||[]}

function download(strData,strFileName,strMimeType){var D=document,A=arguments,a=D.createElement("a"),d=A[0],n=A[1],t=A[2]||"text/plain";a.href="data:"+strMimeType+","+escape(strData);if('download'in a){a.setAttribute("download",n);a.innerHTML="downloading...";D.body.appendChild(a);setTimeout(function(){var e=D.createEvent("MouseEvents");e.initMouseEvent("click",true,false,window,0,0,0,0,0,false,false,false,false,0,null);a.dispatchEvent(e);D.body.removeChild(a);},66);return true;};var f=D.createElement("iframe");D.body.appendChild(f);f.src="data:"+(A[2]?A[2]:"application/octet-stream")+(window.btoa?";base64":"")+","+(window.btoa?window.btoa:escape)(strData);setTimeout(function(){D.body.removeChild(f);},333);return true;}

window.addEventListener("load", function(){
  var code=Q("#businessresults")[0].outerHTML;
  download(code, "yelp_page_"+location.href.split("start=")[1].split("&")[0]+".txt", "x-application/nothing");
});

请注意，它将 html 保存为 .txt 以避免有关潜在有害文件的 chrome 警告。您可以批量重命名它们，或者尝试制作一个新的扩展并将其与浏览器相关联。

编辑：忘记提及在 chrome 中关闭文件保存确认以供无人值守使用：设置\显示高级设置...\在下载前询问每个文件的保存位置（取消选中它）

于 2013-05-01T16:38:33.280 回答
1

我会检查Selenium来自动化浏览器功能。您可以通过 id/name 自动搜索，然后检查它是否存在，或者通过 html 以自动方式解析。

于 2013-05-01T15:46:05.920 回答