1

我正在尝试从一个波兰网站下载 xml 文件。第一天它可以工作，但后来我可以将此文件下载到我的服务器（但我可以在我的计算机上打开并下载它）。在我的服务器上应该有 xml 内容的文件中是 html 内容，告诉我我已被阻止。

我试图从我想从中获取 xml 的网站与网站管理员联系，他告诉我我没有被 IP 地址阻止。所以问题是我应该在标题中发送什么或下载这个文件？

我下载 xml 文件的代码如下，这是我要下载的 xml：http ://www.polskatimes.pl/rss/fakty_kraj.xml

$headers[]  = "User-Agent:Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13";
$headers[]  = "Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
$headers[]  = "Accept-Language:pl-PL,pl;q=0.8";
$headers[]  = "Accept-Encoding:gzip,deflate,sdch";
$headers[]  = "Accept-Charset:ISO-8859-1,utf-8;q=0.7,*;q=0.7";
$headers[]  = "Keep-Alive:115";
$headers[]  = "Connection:keep-alive";
$headers[]  = "Cache-Control:max-age=0";

$xml_data = file_get_contents($xml,false,stream_context_create(
    array("http" => array('header' => $headers)))); // your file is in the string "$xml" now.
file_put_contents($xml_md5, $xml_data); // now your xml file is saved.

以详细模式 (-v) 请求 URL：

* About to connect() to www.polskatimes.pl port 80 (#0)
*   Trying 195.8.99.38... connected
* Connectede to www.polskatimes.pl (195.8.99.38) port 80 (#0)
> GET /rss/fakty_kraj.xml HTTP/1.1
> User-Agent: curl/7.21.0 (x86_64-pc-linux-gnu) libcurl/7.21.0 OpenSSL/0.9.8o zlib/1.2.3.4 libidn/1.15 libssh2/1.2.6
> Host: www.polskatimes.pl
> Accept: */*
>
< HTTP/1.1 200 OK
< Server: nginx
< Date: Thu, 18 Apr 2013 10:40:15 GMT
< Content-Type: text/html; charset=utf8
< Transfer-Encoding: chunked
< Connection: close
< Vary: Accept-Encoding
< Expires: Thu, 18 Apr 2013 10:40:15 GMT
< Cache-Control: max-age=0
(html page with message that I am temporary blocked)
* Closing connection #0
4

1 回答 1

2

要检查幕后发生的事情（以及您实际需要或不需要哪些标头），您需要进行一些分析。这没什么神奇的，您可以使用名为curl的软件在命令行上执行此操作。它适用于许多（甚至所有？）计算机平台。

第一步通常是以详细模式（-v）请求 URL：

$ curl -v http://www.polskatimes.pl/rss/fakty_kraj.xml
* About to connect() to www.polskatimes.pl port 80 (#0)
*   Trying 195.8.99.38... connected
* Connected to www.polskatimes.pl (195.8.99.38) port 80 (#0)
> GET /rss/fakty_kraj.xml HTTP/1.1
> User-Agent: curl/7.21.1 (i686-pc-mingw32) libcurl/7.21.1 OpenSSL/0.9.8r zlib/1.2.3
> Host: www.polskatimes.pl
> Accept: */*
>
< HTTP/1.1 302 Found
< Date: Wed, 17 Apr 2013 17:39:51 GMT
< Server: Apache
< Set-Cookie: sprawdz_cookie=1; expires=Thu, 17-Apr-2014 17:39:51 GMT
< Location: http://www.polskatimes.pl/rss/fakty_kraj.xml?cookie=1
< Vary: Accept-Encoding
< Content-Length: 0
< Connection: close
< Content-Type: text/html; charset=iso-8859-2
<
* Closing connection #0

这向您显示了请求（以>为前缀）和响应（以<为前缀）标头和响应正文（在这种情况下为空）。如您所见，状态为302 Found，这意味着 3xx 是重定向，并且位置标头告诉您去哪里：

Location: http://www.polskatimes.pl/rss/fakty_kraj.xml?cookie=1

正如查询参数所暗示的，这是一个 cookie 检查。cookie 本身也已设置：

Set-Cookie: sprawdz_cookie=1; expires=Thu, 17-Apr-2014 17:39:51 GMT

因此，在下一步中，我们将重播最后一个命令，但这次设置 cookie 可以使用-b参数完成：

$ curl -v -b prawdz_cookie=1 http://www.polskatimes.pl/rss/fakty_kraj.xml
* About to connect() to www.polskatimes.pl port 80 (#0)
*   Trying 195.8.99.38... connected
* Connected to www.polskatimes.pl (195.8.99.38) port 80 (#0)
> GET /rss/fakty_kraj.xml HTTP/1.1
> User-Agent: curl/7.21.1 (i686-pc-mingw32) libcurl/7.21.1 OpenSSL/0.9.8r zlib/1.2.3
> Host: www.polskatimes.pl
> Accept: */*
> Cookie: prawdz_cookie=1
>
< HTTP/1.1 200 OK
< Date: Wed, 17 Apr 2013 17:43:52 GMT
< Server: Apache
< Set-Cookie: sesja_gratka=e38fa0eb93705c8de7ae906198494439; expires=Wed, 24-Apr-2013 17:43:52 GMT; path=/; domain=polskatimes.pl
< Expires: Thu, 19 Nov 1981 08:52:00 GMT
< Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
< Pragma: no-cache
< Vary: Accept-Encoding
< Connection: close
< Transfer-Encoding: chunked
< Content-Type: text/xml; charset=utf-8
<
<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
  <channel>
    <title><![CDATA[Fakty - Kraj]]></title>
    <link>http://www.polskatimes.pl/fakty/kraj/</link>
    <atom:link href="http://www.polskatimes.pl/rss/fakty_kraj.xml" rel="self" type="application/rss+xml"/>
    <description><![CDATA[Materiały z działu Kraj]]></description>
... (cutted)

所以这立即成功。现在真正好的部分：您知道您需要为请求设置 cookie，并且curl 已经向您显示了它使用的所有标头：

> GET /rss/fakty_kraj.xml HTTP/1.1
> User-Agent: curl/7.21.1 (i686-pc-mingw32) libcurl/7.21.1 OpenSSL/0.9.8r zlib/1.2.3
> Host: www.polskatimes.pl
> Accept: */*
> Cookie: prawdz_cookie=1

他们中的大多数你不需要关心file_get_contents第一行以及Host:和Accept:行。

User-Agent:标头看起来并没有真正发挥作用，因为 curl 被接受。

所以剩下的就是Cookie:标头。让我们在 PHP 中尝试：

$ php -r "echo file_get_contents('http://www.polskatimes.pl/rss/fakty_kraj.xml', null, 
stream_context_create(['http'=>['header'=>['Cookie: prawdz_cookie=1']]]));"
<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
  <channel>
    <title><![CDATA[Fakty - Kraj]]></title>
    <link>http://www.polskatimes.pl/fakty/kraj/</link>
    <atom:link href="http://www.polskatimes.pl/rss/fakty_kraj.xml" rel="self" 
    type="application/rss+xml"/>
...  (cutted)

这是只需要Set-Cookie: prawdz_cookie=1标头的直接测试。

于 2013-04-17T17:58:50.913 回答