2

我想知道是否可以将 cookie 从一个 Web 客户端复制到另一个客户端。

原因

我正在使用并行 Web 请求，它会在每个新线程上创建新的 Web 客户端实例。

问题

信息是敏感的，需要使用 post 请求授权并保存 cookie。所以基本上那些新的 Web 客户端实例无法访问。我不想授权正在创建的每一个 Web 客户端，所以我想知道是否有可能以某种方式将 cookie 从一个 Web 客户端复制到另一个 Web 客户端。

示例代码

public class Scrapper
{
    CookieAwareWebClient _web = new CookieAwareWebClient();

    public Scrapper(string username, string password)
    {
        this.Authorize(username, password); // This sends correct post request and then it sets the cookie on _web
    }

    public string DowloadSomeData(int pages)
    {
        string someInformation = string.Empty;

        Parallel.For(0, pages, i =>
        {
            // Cookie is set on "_web", need to copy it to "web"
            var web = new CookieAwareWebClient(); // No authorization cookie here
            html = web.DownloadString("http://example.com/"); // Can't access this page without cookie

            someInformation += this.GetSomeInformation(html)
        });

        return someInformation;
    }
}

// This is cookie aware web client that I use
class CookieAwareWebClient : WebClient
{
    private CookieContainer cookie = new CookieContainer();

    protected override WebRequest GetWebRequest(Uri address)
    {
        WebRequest request = base.GetWebRequest(address);
        if (request is HttpWebRequest)
        {
            (request as HttpWebRequest).CookieContainer = cookie;
        }
        return request;
    }
}
4

1 回答 1

6

我相信您可以在对象之间共享CookieContainer实例。WebClient因此，一旦您通过了身份验证，就可CookieContainer以为您创建的每个新客户端重复使用相同的身份验证。请注意您的后续请求不会修改CookieContainer，否则您可能会遇到竞争条件，因为我怀疑该类对于并行修改是线程安全的。

首先，CookieAwareWebClient使用可以传入 cookie 容器的自定义构造函数进行修改。另外，提供一种通过属性获取容器引用的方法：

class CookieAwareWebClient : WebClient
{
    private CookieContainer cookie;

    public CookieContainer Cookie { get { return cookie; } }

    public CookieAwareWebClient() {
        cookie = new CookieContainer();
    }

    public CookieAwareWebClient(CookieContainer givenContainer) {
        cookie = givenContainer;
    }
}

然后你的Scrapper类应该在身份验证后将它自己的传递CookieContainer给每个客户端：

public string DowloadSomeData(int pages)
{
    string someInformation = string.Empty;
    CookieContainer cookie = this._web.Cookie;

    Parallel.For(0, pages, i =>
    {
        // pass in the auth'ed cookie
        var web = new CookieAwareWebClient(cookie);
        html = web.DownloadString("http://example.com/");

        someInformation += this.GetSomeInformation(html)
    });

    return someInformation;
}
于 2013-03-04T22:27:37.630 回答