6

奇怪的是，我正在尝试阅读许多不同网站的 <Head> 部分，而一种特定类型的服务器 Apache 有时会给出禁止代码 403。并非所有 apache 服务器都这样做，因此它可能是配置设置或服务器的特定版本。

然后，当我使用网络浏览器（例如 Firefox）检查 url 时，页面加载正常。代码排序如下所示：

var client = new WebClient();
var stream = client.OpenRead(new Uri("http://en.wikipedia.org/wiki/Barack_Obama"));

通常，403 是访问权限失败之类的事情，但这些通常是不安全的页面。我认为 Apache 正在过滤请求标头中的某些内容，因为我不想创建任何内容。

也许对 Apache 有更多了解的人可以给我一些关于标题中缺少的内容的想法。我想保持标题尽可能小以最小化带宽。

谢谢

4

4 回答 4

10

尝试设置 UserAgent 标头：

string _UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705;)";
client.Headers.Add(HttpRequestHeader.UserAgent, _UserAgent);
于 2010-02-23T04:33:43.937 回答
6

我有一个类似的问题，下面的设置解决了它

Client.Headers["Accept"] = "application/x-ms-application, image/jpeg, application/xaml+xml, image/gif, image/pjpeg, application/x-ms-xbap, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*";
Client.Headers["User-Agent"] ="Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; MDDC)";
于 2010-11-10T19:43:00.240 回答
1

正如“thedugas”所说，这可能是 UserAgent 标头的问题，或者实际上是浏览器默认配置为执行的任何操作。例如，可能是没有使用浏览器正在使用的代理服务器，或者没有使用代理服务器的正确凭据。这些可能已经配置到浏览器中，因此您不知道需要完成它们。

于 2010-02-23T04:39:10.557 回答
0

我有同样的问题，答案并不明显。我找到了嗅探网络通信的解决方案。当 Apache 给出其“Testing 1 2 3...”页面时，它返回一个带有 403 禁止代码的 html。浏览器忽略获取代码并显示页面，但 de WebClient 返回错误消息。解决方案是读取 Try 语句的 Catch 内的响应。这是我的代码：

            Dim Retorno As String = ""
            Dim Client As New SiteWebClient
            Client.Headers.Add("User-Agent", "Mozilla/ 5.0(Windows NT 10.0; Win64; x64) AppleWebKit/537.36 " &
                               "(KHTML, Like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134")
            Client.Headers.Add("Accept-Language", "pt-BR, pt;q=0.5")
            Client.Headers.Add("Accept", "Text/ html, application / xhtml + Xml, application / Xml;q=0.9,*/*;q=0.8")
            Try
                Retorno = Client.DownloadString("http://" & HostName & SitePath)
            Catch ex As Exception
                If ex.GetType = GetType(System.Net.WebException) Then
                    Try
                        Dim Exception As System.Net.WebException = ex
                        Dim Resposta As System.Net.HttpWebResponse = Exception.Response
                        Using WebStream As New StreamReader(Resposta.GetResponseStream(), System.Text.Encoding.GetEncoding("utf-8"))
                            Retorno = WebStream.ReadToEnd
                        End Using
                    Catch ex1 As Exception

                    End Try
                End If
            End Try

在 Try 语句之后，Retorno 将包含来自服务器的 HTML 响应，无论服务器返回的错误代码是什么。

标头对此行为没有影响。

于 2019-06-15T13:29:41.950 回答