2

我在抓取网页时遇到问题，因为 C# webClient 类和 webBrowser 类无法检索 Html 源中的所有子元素。

当我从 Chrome 甚至从 iExplorer 中搜索代码时，我可以展开所有 HtmlElement 节点，但如果我尝试从代码中展开所有这些元素，我将无法获得所有节点。

我正在使用这个例程来获取节点：

string page = ConfigurationManager.AppSettings["url"];
webBrowser1.Navigate(page);
string directory = Directory.GetCurrentDirectory();
StreamReader myReader = new StreamReader(webBrowser1.DocumentStream);
StreamWriter myWriter = new StreamWriter(directory + @"\pageSource.txt");
while (myReader.Peek() >= 0)
{
     myWriter.WriteLine(myReader.ReadLine());
}
myWriter.Close();
myReader.Close();

文件 pageSource.txt 没有原始 html 源代码中的所有行。

例如，这是 pageSource.txt 内容：

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Frameset//EN">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
<noscript>
<meta HTTP-EQUIV="REFRESH" CONTENT="0;URL=index.jsp?noscript=1">
</noscript>
<title>Page</title>

</head>

<frameset id="indexFramst" onload="onloadHandler()" rows="135,24,*"  frameborder="0" framespacing="0" border=0 spacing=0>

    <frame name="Banner" title="Banner" src='banner.html'  tabIndex="3" marginwidth="0" marginheight="0" scrolling="no" frameborder="0" noresize=0>
    <frame name="Search" title="Toolbar" src='archive=100' marginwidth="0" marginheight="0" scrolling="no" frameborder="0" noresize=0>
    <frame name="Bingo" title="BINGO" src='bingo.Html' marginwidth="0" marginheight="0" scrolling="no" frameborder="0" >
</frameset>
</html>

每个<frame>标签都必须有一个结束项和子项，但 webBrowser1 的文档不会检索此子项。

原始页面包含在每个框架<html>标签中带有另一个嵌套的 html 文档的标签。

如果有人知道我为什么无法检索此节点，我将非常感谢您的提示。

4

1 回答 1

0

看起来html 5 不支持框架集。也许 webbrowser 类默认为 html5，即使该页面将自己标识为 html 4。您可以尝试使用另一个客户端来下载和处理文本。如果您需要 javascript 渲染尝试 phantomjs 或者如果您固定在 c# 上，您可以尝试在内部使用phantomjs的 AbotX。

于 2015-12-20T00:21:59.687 回答