只是简单介绍一下我想要达到的目标。
我需要从公共网站上每个月抓取一个值。例如,对于 2014 年 5 月的特定状态;TOTAL 值为 224,481(在页面的右下角)。我需要每个月捕获这个值并存储在数据库中。需要通过更改每个月的参数来运行以下 URL。 带有参数的 VEEC 网站
为了实现这一点,我尝试使用 CFHTTP 获取 HTML,如下所示,然后使用JSOUP
将在存储到数据库之前从返回的 HTML 中抓取预期值。
<cfset f_url = "https://www.veet.vic.gov.au/Public/PublicRegister/Search.aspx">
<cfhttp method="GET" url="#f_url#">
<cfhttpparam type="Header" name="Accept-Encoding" value="*">
<cfhttpparam type="Header" name="TE" value="deflate;q=0">
<cfhttpparam name="CreatedFrom" type="URL" value="#StartDate#">
<cfhttpparam name="CreatedTo" type="URL" value="#EndDate#">
<cfhttpparam name="Status" type="URL" value="PRP,PRV">
</cfhttp>
<cfdump var="#cfhttp#">
当我connection failure
尝试运行代码片段时出现错误。
请告知是否有其他方法可以做到这一点。这必须仅用于在开发方面收集数据,而不是用于生产用途。
编辑(不想删除问题):我必须使用互联网代理访问 CFHTTP 标签中的网站才能使其正常工作。不早点检查是我的坏事。希望它可以帮助将来的人。感谢大家。