9

我正在做一个涉及一些基本网络爬取的项目。我一直在非常成功地使用 HttpWebRequest 和 HttpWebResponse。对于 cookie 处理，我每次只有一个 CookieContainer 分配给 HttpWebRequest.CookieContainer 。我每次都会自动填充新的 cookie，不需要我进行额外的处理。这一切都运行良好，直到不久前曾经工作的网站之一突然停止工作。我有理由确定这是 cookie 的问题，但我没有记录 cookie 从它过去工作时起的记录，所以我不能 100% 确定。

我已经设法用以下代码模拟了这个问题：

CookieContainer cookieJar = new CookieContainer();

Uri uri1 = new Uri("http://www.somedomain.com/some/path/page1.html");
CookieCollection cookies1 = new CookieCollection();
cookies1.Add(new Cookie("NoPathCookie", "Page1Value"));
cookies1.Add(new Cookie("CookieWithPath", "Page1Value", "/some/path/"));

Uri uri2 = new Uri("http://www.somedomain.com/some/path/page2.html");
CookieCollection cookies2 = new CookieCollection();
cookies2.Add(new Cookie("NoPathCookie", "Page2Value"));
cookies2.Add(new Cookie("CookieWithPath", "Page2Value", "/some/path/"));

Uri uri3 = new Uri("http://www.somedomain.com/some/path/page3.html");

// Add the cookies from page1.html
cookieJar.Add(uri1, cookies1);

// Add the cookies from page2.html
cookieJar.Add(uri2, cookies2);

// We should now have 3 cookies
Console.WriteLine(string.Format("CookieJar contains {0} cookies", cookieJar.Count));

Console.WriteLine(string.Format("Cookies to send to page1.html: {0}", cookieJar.GetCookieHeader(uri1)));
Console.WriteLine(string.Format("Cookies to send to page2.html: {0}", cookieJar.GetCookieHeader(uri2)));
Console.WriteLine(string.Format("Cookies to send to page3.html: {0}", cookieJar.GetCookieHeader(uri3)));

这模拟了访问两个页面，这两个页面都设置了两个 cookie。然后，它会检查哪些 cookie 将被设置到三个页面中的每一个。

在这两个cookie中，一个没有指定路径，另一个指定了路径。当未指定路径时，我假设 cookie 将被发送回该域中的任何页面，但它似乎只会被发送回该特定页面。我现在假设这是正确的，因为它是一致的。

对我来说主要问题是处理带有指定路径的 cookie。当然，如果指定了路径，那么 cookie 应该被发送到该路径中包含的任何页面。因此，在上面的代码中，'CookieWithPath' 应该对 /some/path/ 中的任何页面都有效，包括 page1.html、page2.html 和 page3.html。当然，如果您注释掉两个 'NoPathCookie' 实例，那么 'CookieWithPath' 会按照我的预期发送到所有三个页面。但是，如上所述包含“NoPathCookie”后，“CookieWithPath”只会发送到 page2.html 和 page3.html，而不是 page1.html。

为什么会这样，它是否正确？

搜索此问题时，我遇到了有关 CookieContainer 中域处理问题的讨论，但找不到有关路径处理的任何讨论。

我正在使用 Visual Studio 2005 / .NET 2.0

4

1 回答 1

2

当未指定路径时，我假设 cookie 将被发送回该域中的任何页面，但它似乎只会被发送回该特定页面。我现在假设这是正确的，因为它是一致的。

对，没错。无论何时未指定域或路径，它都取自当前 URI。

好的，我们来看看CookieContainer。有问题的方法是InternalGetCookies(Uri)。这是有趣的部分：

while (enumerator2.MoveNext())
{
    DictionaryEntry dictionaryEntry = (DictionaryEntry)enumerator2.get_Current();
    string text2 = (string)dictionaryEntry.get_Key();
    if (!uri.AbsolutePath.StartsWith(CookieParser.CheckQuoted(text2)))
    {
        if (flag2)
        {
            break;
        }
        else
        {
            continue;
        }
    }
    flag2 = true;
    CookieCollection cookieCollection2 = (CookieCollection)dictionaryEntry.get_Value();
    cookieCollection2.TimeStamp(CookieCollection.Stamp.Set);
    this.MergeUpdateCollections(cookieCollection, cookieCollection2, port, flag, i < 0);
    if (!(text2 == "/"))
    {
        continue;
    }
    flag3 = true;
    continue;
}

enumerator2这是 cookie 路径的（排序）列表。它以这样的方式排序，更具体的路径（如/directory/subdirectory/）在不太具体的路径（如）之前/directory/，否则 - 按字典顺序（/directory/page1在之前/directory/page2）。

代码实际上做了以下事情：它遍历这个 cookie 路径列表，直到找到第一个路径，这是请求的 URI 路径的前缀。然后它在该路径下添加一个 cookie 到输出并设置flag2为true，这意味着“好的，我终于在列表中找到了与请求的 URI 实际相关的位置”。之后，第一个遇到的路径（不是请求的 URI 路径的前缀）被认为是相关路径的结尾，因此代码停止搜索 cookie break。

显然，这是一种防止扫描整个列表的优化，如果没有路径指向具体页面，它显然可以工作。现在，对于您的情况，路径列表如下所示：

/some/path/page1.html
/some/path/page2.html
/some/path/

((System.Net.PathList)(cookieJar.m_domainTable["www.somedomain.com"])).m_list您可以使用调试器检查，在监视窗口中查找

因此，对于“page1.html”URI，代码在page2.html项目上中断，没有机会处理/some/path/项目。

总之：这显然是 CookieContainer 中的另一个错误。我认为应该在连接上报告它。

PS：每个班级的错误太多了。我只希望为这个课程编写测试的 MS 的那个人已经被解雇了。

于 2013-02-20T12:24:53.113 回答