0

为什么我的代码只下载了半个网页？？有时它会下载网页大小的 4 倍：S

我找不到问题所在，这就是我要问的原因。基本上，我连接到套接字，发送我的请求并将响应读取到缓冲区。我尝试将其保存到文件并将其打印到屏幕上，但它打印并保存了不完整的数据或过多的数据。我不确定它是否是缓冲区溢出或我做错了什么。

有任何想法吗？

#define _WIN32_WINNT 0x501

#include <iostream>
#include <winsock2.h>
#include <ws2tcpip.h>
#include <stdio.h>
#include <fstream>

using namespace std;

void Get(string WebPage)
{
    WSADATA wsaData;
    string Address;
    struct addrinfo *result;
    struct sockaddr_in  *sockaddr_ipv4;

    char Buffer[50000] = {0};

    string Header = "GET / HTTP/1.1\r\n";
    Header += "Host: " + WebPage + "\r\n";
    Header += "Connection: close\r\n";
    Header += "\r\n";

    if (WSAStartup(MAKEWORD(2,2), &wsaData) != 0) return;

    SOCKET Socket = socket(AF_INET,SOCK_STREAM,IPPROTO_TCP);

    getaddrinfo(WebPage.c_str(), NULL, NULL, &result);
    if (result->ai_family == AF_INET)
    {
        sockaddr_ipv4 = (struct sockaddr_in *) result->ai_addr;
        Address = inet_ntoa(sockaddr_ipv4->sin_addr);
    }
    freeaddrinfo(result);


    SOCKADDR_IN SockAddr;
    memset(&SockAddr, 0, sizeof(SockAddr));
    SockAddr.sin_port = htons(80);
    SockAddr.sin_family = AF_INET;
    SockAddr.sin_addr.s_addr = inet_addr(Address.c_str());

    if(connect(Socket,(SOCKADDR*)(&SockAddr),sizeof(SockAddr)) == SOCKET_ERROR) return;

    if (send(Socket, Header.c_str(), Header.size(), 0) == SOCKET_ERROR) return;
    shutdown(Socket, SD_SEND);

    std::string Response;

    while(true)
    {
        int Val = recv(Socket, Buffer, sizeof(Buffer), 0);
        if (Val == 0)
            break;
        else if (Val == SOCKET_ERROR)
        {
            cout<<"Error!";
        }
        else
        {
            Response += Buffer;
        }
    }

    closesocket(Socket);
    WSACleanup();

    ofstream File;
    File.open("C:/Saved.html");
    File<<Response;
    File.close();
}

int main()
{
    Get("villavu.com");
}
4

1 回答 1

3

编辑：recv 不是为您终止数据的空值 - 您需要写下您收到的数据量，而不仅仅是 += 它。

您的回复中是否有任何二进制数据？如果是这样，则

Response += Buffer;

将在第一个空字符处停止。我会使用一个向量来存储来自 recv 的数据，如下所示：

vector<char> recvBuffer(50000);

int bytesReceived = recv(socket, recvBuffer.data(), recvBuffer.size(), 0);
//error checking
recvBuffer.resize(bytesReceived);

并再次将接收到的数据存储在另一个向量中，然后将其复制回来。

vector<char> pageContents;

pageContents.insert(pageContents.end(), recvBuffer.begin(), recvBuffer.end());

不过，这并不能解释您的 4 倍数据。

我看到的另一个问题是，您没有在使用缓冲区后将其清零。

IOW：你需要写下你收到了多少数据，而不仅仅是 += 数组。

于 2012-11-16T03:35:11.430 回答