2

范围：

我正在开发一个 C# 应用程序来模拟对该站点的查询。我非常熟悉模拟 Web 请求以实现相同的人工步骤，但使用代码代替。

如果您想自己尝试，只需在 CNPJ 框中输入此数字： 08775724000119然后输入验证码并单击Confirmar

我已经处理了验证码，所以这不再是问题了。

问题：

一旦我对“CNPJ”执行 POST 请求，就会引发异常：

远程服务器返回错误：(403) Forbidden。

Fiddler 调试器输出：

Fiddler 下载链接

这是我的浏览器生成的请求，而不是我的代码

POST https://www.sefaz.rr.gov.br/sintegra/servlet/hwsintco HTTP/1.1
Host: www.sefaz.rr.gov.br
Connection: keep-alive
Content-Length: 208
Cache-Control: max-age=0
Origin: https://www.sefaz.rr.gov.br
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko)    Chrome/23.0.1271.97 Safari/537.11
Content-Type: application/x-www-form-urlencoded
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Referer: https://www.sefaz.rr.gov.br/sintegra/servlet/hwsintco
Accept-Encoding: gzip,deflate,sdch
Accept-Language: pt-BR,pt;q=0.8,en-US;q=0.6,en;q=0.4
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.3
Cookie: GX_SESSION_ID=gGUYxyut5XRAijm0Fx9ou7WnXbVGuUYoYTIKtnDydVM%3D;   JSESSIONID=OVuuMFCgQv9k2b3fGyHjSZ9a.undefined


//    PostData : 
_EventName=E%27CONFIRMAR%27.&_EventGridId=&_EventRowId=&_MSG=&_CONINSEST=&_CONINSESTG=08775724000119&cfield=rice&_VALIDATIONRESULT=1&BUTTON1=Confirmar&sCallerURL=http%3A%2F%2Fwww.sintegra.gov.br%2Fnew_bv.html

使用的代码示例和参考：

我正在使用自行开发的库来处理/包装 Post 和 Get 请求。

请求对象与浏览器发出的参数（Host、Origin、Referer、Cookies ..）具有相同的参数（在此处记录了我的提琴手）。

我还设法ServicePointValidator使用以下方法设置证书：

ServicePointManager.ServerCertificateValidationCallback = 
    new RemoteCertificateValidationCallback (delegate { return true; });

在所有这些配置之后，我仍然得到禁止的异常。

这是我模拟请求并引发异常的方式

        try
        {
            this.Referer = Consts.REFERER;

            // PARAMETERS: URL, POST DATA, ThrownException (bool)
            response = Post (Consts.QUERYURL, postData, true);
        }
        catch (Exception ex)
        {
            string s = ex.Message;
        }

提前感谢您对我的问题的任何帮助/解决方案

更新1：

我错过了对生成 cookie 的主页的请求（感谢 @W0lf 指出这一点）

现在还有一件奇怪的事情。Fiddler 没有在请求中显示我的 Cookie，但它们在这里： 饼干罐

4

2 回答 2

6

我使用浏览器发出了成功的请求，并将其记录在 Fiddler 中。

唯一与您的要求不同的是：

  • 我的浏览器没有为参数发送任何值sCallerURL（我有sCallerURL=而不是sCallerURL=http%3A%2F%2Fwww....）
  • 会话 ID 不同（显然）
  • 我有其他Accept-Language:价值观（我很确定这不重要）
  • 是Content-Length不同的（显然）

更新

好的，我认为 Fiddler 跟踪来自您的应用程序。如果您没有根据您的请求设置 cookie，请执行以下操作：

  • 在发布数据之前，向https://www.sefaz.rr.gov.br/sintegra/servlet/hwsintco. 如果您检查响应，您会注意到该网站发送了两个会话 cookie。
  • 当您执行 POST 请求时，请确保附上您在上一步中获得的 cookie

如果您不知道如何存储 cookie 并在其他请求中使用它们，请查看此处。

更新 2

问题

好的，我设法重现了 403，找出了导致它的原因，并找到了修复方法。

POST 请求中发生的情况是：

  • 服务器响应状态 302（临时重定向）和重定向位置
  • 浏览器重定向（基本上是 GET 请求）到该位置，同时发布两个 cookie。

.NET 的 HttpWebRequest 尝试无缝地执行此重定向，但在这种情况下存在两个问题（我会考虑 .NET 实现中的错误）：

  1. POST(redirect) 之后的 GET 请求与 POST 请求 ( ) 具有相同的内容类型application/x-www-form-urlencoded。对于 GET 请求，不应指定此项

  2. cookie 处理问题（最重要的问题） - 网站发送两个 cookie：GX_SESSION_ID和JSESSIONID. 第二个有一个指定的路径 ( /sintegra)，而第一个没有。

区别在于：浏览器默认/为第一个 cookie 分配路径 (root)，而 .NET 为其分配请求 url 路径 ( /sintegra/servlet/hwsintco)。

由于这个原因，最后一个 GET 请求（重定向后）/sintegra/servlet/hwsintpe...没有获得传入的第一个 cookie，因为它的路径不对应。

修复

  • 对于重定向问题（带有内容类型的 GET），解决方法是手动进行重定向，而不是依赖 .NET 来解决此问题。

为此，请告诉它不要遵循重定向：

postRequest.AllowAutoRedirect = false

然后从 POST 响应中读取重定向位置并手动对其执行 GET 请求。

为此，我发现的解决方法是从 CookieContainer 中获取放错位置的 cookie，正确设置它的路径并将其添加回容器中的正确位置。

这是执行此操作的代码：

private void FixMisplacedCookie(CookieContainer cookieContainer)
{
    var misplacedCookie = cookieContainer.GetCookies(new Uri(Url))[0];

    misplacedCookie.Path = "/"; // instead of "/sintegra/servlet/hwsintco"

    //place the cookie in thee right place...
    cookieContainer.SetCookies(
        new Uri("https://www.sefaz.rr.gov.br/"), 
        misplacedCookie.ToString());
}

这是使其工作的所有代码：

using System;
using System.IO;
using System.Net;
using System.Text;

namespace XYZ
{
    public class Crawler
    {

        const string Url = "https://www.sefaz.rr.gov.br/sintegra/servlet/hwsintco";

        public void Crawl()
        {
            var cookieContainer = new CookieContainer();

            /* initial GET Request */
            var getRequest = (HttpWebRequest)WebRequest.Create(Url);
            getRequest.CookieContainer = cookieContainer;
            ReadResponse(getRequest); // nothing to do with this, because captcha is f#@%ing dumb :)

            /* POST Request */
            var postRequest = (HttpWebRequest)WebRequest.Create(Url);

            postRequest.AllowAutoRedirect = false; // we'll do the redirect manually; .NET does it badly
            postRequest.CookieContainer = cookieContainer;
            postRequest.Method = "POST";
            postRequest.ContentType = "application/x-www-form-urlencoded";

            var postParameters =
                "_EventName=E%27CONFIRMAR%27.&_EventGridId=&_EventRowId=&_MSG=&_CONINSEST=&" +
                "_CONINSESTG=08775724000119&cfield=much&_VALIDATIONRESULT=1&BUTTON1=Confirmar&" +
                "sCallerURL=";

            var bytes = Encoding.UTF8.GetBytes(postParameters);

            postRequest.ContentLength = bytes.Length;

            using (var requestStream = postRequest.GetRequestStream())
                requestStream.Write(bytes, 0, bytes.Length);

            var webResponse = postRequest.GetResponse();

            ReadResponse(postRequest); // not interested in this either

            var redirectLocation = webResponse.Headers[HttpResponseHeader.Location];

            var finalGetRequest = (HttpWebRequest)WebRequest.Create(redirectLocation);


            /* Apply fix for the cookie */
            FixMisplacedCookie(cookieContainer);

            /* do the final request using the correct cookies. */
            finalGetRequest.CookieContainer = cookieContainer;

            var responseText = ReadResponse(finalGetRequest);

            Console.WriteLine(responseText); // Hooray!
        }

        private static string ReadResponse(HttpWebRequest getRequest)
        {
            using (var responseStream = getRequest.GetResponse().GetResponseStream())
            using (var sr = new StreamReader(responseStream, Encoding.UTF8))
            {
                return sr.ReadToEnd();
            }
        }

        private void FixMisplacedCookie(CookieContainer cookieContainer)
        {
            var misplacedCookie = cookieContainer.GetCookies(new Uri(Url))[0];

            misplacedCookie.Path = "/"; // instead of "/sintegra/servlet/hwsintco"

            //place the cookie in thee right place...
            cookieContainer.SetCookies(
                new Uri("https://www.sefaz.rr.gov.br/"),
                misplacedCookie.ToString());
        }
    }
}
于 2013-01-03T13:42:52.730 回答
0

有时HttpWebRequest需要代理初始化：request.Proxy = new WebProxy();//在我的情况下它不需要参数，但是你可以将它设置为你的代理地址

于 2013-09-25T12:56:38.703 回答