8

我正在实现一个简单的 HTTP 客户端，它只连接到 Web 服务器并获取其默认主页。在这里，它工作得很好：

using System;
using System.Net.Sockets;

namespace ConsoleApplication1
{
    class Program
    {
        static void Main(string[] args)
        {
            TcpClient tc = new TcpClient();
            tc.Connect("www.google.com", 80);

            using (NetworkStream ns = tc.GetStream())
            {
                System.IO.StreamWriter sw = new System.IO.StreamWriter(ns);
                System.IO.StreamReader sr = new System.IO.StreamReader(ns);

                string req = "";
                req += "GET / HTTP/1.0\r\n";
                req += "Host: www.google.com\r\n";
                req += "\r\n";

                sw.Write(req);
                sw.Flush();

                Console.WriteLine("[reading...]");
                Console.WriteLine(sr.ReadToEnd());
            }
            tc.Close();
            Console.WriteLine("[done!]");
            Console.ReadKey();
        }
    }
}

当我从上面的代码中删除以下行时，程序会阻塞sr.ReadToEnd。

req += "Host: www.google.com\r\n";

我什至用sr.Read替换了sr.ReadToEnd，但它无法读取任何内容。我使用 Wireshark 来查看发生了什么：

使用 Wireshark 捕获数据包的屏幕截图 http://www.imagechicken.com/uploads/1252514718052893500.jpg

如您所见，在我的 GET 请求之后，Google 没有响应并且请求被一次又一次地重新传输。看来我们必须在 HTTP 请求中指定Host部分。奇怪的部分是我们不这样做。我使用telnet发送此请求并得到 Google 的回复。我还捕获了 telnet 发送的请求，它与我的请求完全相同。

我尝试了许多其他网站（例如 Yahoo、Microsoft），但结果都是一样的。

那么，telnet 中的延迟是否会导致 Web 服务器的行为有所不同（因为在 telnet 中，我们实际上是键入字符而不是在 1 个数据包中将它们一起发送）。

另一个奇怪的问题是，当我将HTTP/1.0更改为HTTP/1.1时，程序总是阻塞在sr.ReadToEnd行。我猜那是因为网络服务器没有关闭连接。

一种解决方案是使用Read（或ReadLine）和ns.DataAvailable来读取响应。但我不能确定我是否已阅读所有回复。如何读取响应并确保 HTTP/1.1 请求的响应中没有更多字节？

注意： 正如 W3 所说，

主机请求头字段必须伴随所有HTTP/1.1 请求

（我是为我的 HTTP/1.1 请求做的）。但是我还没有看到HTTP/1.0这样的东西。使用 telnet发送没有Host标头的请求也可以正常工作。

更新：

TCP 段中的推送标志已设置为 1。我也尝试过netsh winsock reset来重置我的 TCP/IP 堆栈。测试计算机上没有防火墙或防病毒软件。数据包实际上是发送的，因为安装在另一台计算机上的 Wireshark 可以捕获它。

我也尝试过其他一些要求。例如，

string req = "";
req += "GET / HTTP/1.0\r\n";
req += "s df slkjfd sdf/ s/fd \\sdf/\\\\dsfdsf \r\n";
req += "qwretyuiopasdfghjkl\r\n";
req += "Host: www.google.com\r\n";
req += "\r\n";

在所有类型的请求中，如果我省略Host:部分，Web 服务器不会响应，如果使用Host:部分，即使是无效请求（就像上面的请求一样）也会被响应（通过 400: HTTP错误的请求）。

nos说Host:在他的机器上不需要零件，这使情况更加奇怪。

4

5 回答 5

3

这与使用 TcpClient 有关。

我知道这篇文章很旧。我提供此信息以防其他人遇到此问题。将此答案视为对上述所有答案的补充。

某些服务器需要 HTTP 主机标头，因为它们被设置为每个 IP 地址托管多个域。作为一般规则，始终发送 Host 标头。一个好的服务器会回复“未找到”。有些服务器根本不会回复。

当从流中读取数据的调用阻塞时，通常是因为服务器正在等待发送更多数据。这通常是 HTTP 1.1 规范没有被严格遵循的情况。为了证明这一点，请尝试省略最终的 CR LF 序列，然后从流中读取数据 - 对 read 的调用将一直等到客户端超时或服务器通过终止连接而放弃等待。

我希望这能带来一点启示......

于 2012-06-13T15:51:16.603 回答
2

我发现了一个问题：

我如何阅读响应并确保我阅读了 HTTP/1.1 请求中的所有响应？

这是我可以回答的问题！

您在这里使用的所有方法都是同步的，这很容易使用，但甚至有点不可靠。一旦你有一个相当大的响应，你就会看到问题，并且只得到其中的一部分。

要最稳健地实现 TcpClient 连接，您应该使用所有异步方法和回调。相关方法如下：

1) 使用 TcpClient.BeginConnect(...) 创建连接，回调调用 TcpClient.EndConnect(...)
2) 使用 TcpClient.GetStream().BeginWrite(...) 发送请求，回调调用 TcpClient。 GetStream().EndWrite(...)
3) 使用 TcpClient.GetStream().BeginRead(...) 接收响应，回调调用 TcpClient.GetStream().EndRead(...)，将结果附加到StringBuilder 缓冲区，然后再次调用 TcpClient.GetStream().BeginRead(...) （使用相同的回调），直到收到 0 字节的响应。

正是最后一步（重复调用 BeginRead 直到读取 0 个字节）解决了获取响应、整个响应以及只有响应的问题。所以帮助我们TCP。

希望有帮助！

于 2010-06-23T17:22:33.423 回答
0

我相信 ReadToEnd 会等到连接关闭。但是它似乎没有关闭。你应该继续阅读它。然后它将按您的预期工作。

//Console.WriteLine(sr.ReadToEnd());
var bufout = new byte[1024];
int readlen=0;
do
{
    readlen = ns.Read(bufout, 0, bufout.Length);
    Console.Write(System.Text.Encoding.UTF8.GetString(bufout, 0, readlen));
} while (readlen != 0);
于 2012-07-11T21:13:55.570 回答
0

我建议您针对安装在您自己的本地计算机上的标准、经过良好测试、广泛接受的 Web 服务器（例如 Apache HTTPD 或 IIS）尝试您的代码。

配置您的 Web 服务器以在没有Host标头的情况下响应（例如 IIS 中的默认 Web 应用程序），然后查看是否一切顺利。

归根结底，您无法真正了解幕后发生的事情，因为您无法控制 google、yahoo 等网站/网络应用程序。
例如，网站管理员可以配置网站，以便端口 80 上的传入 TCP 连接没有默认应用程序，使用 HTTP 协议。
但他/她可能想在使用 TELNET 协议通过 TCP 端口 23 连接时配置默认的 telnet 应用程序。

于 2010-06-24T08:05:04.680 回答
-2

尝试直接使用 System.Net.WebClient 而不是 System.Net.Sockets.TcpClient ：

using System;
using System.Net;

namespace ConsoleApplication1
{
    class Program
    {
        static void Main(string[] args)
        {
            WebClient wc = new WebClient();
            Console.WriteLine("[requesting...]");
            Console.WriteLine(wc.DownloadString("http://www.google.com"));
            Console.WriteLine("[done!]");
            Console.ReadKey();
        }
    }
}
于 2009-09-09T23:28:02.220 回答