c# - 网页抓取 C#

Question

我正在尝试从需要登录的网站上进行网页抓取，我已经实现了这一目标并成功抓取了该网站。

我遇到的问题是，我试图抓取的值直到加载站点几秒钟后才会出现，我正在从 Siemens OZW772.04 控制器单元抓取，它必须获取摄氏度度，它需要几秒钟才能将它们全部加载。

所以在我抓取了网站之后，文本还可以，但是所有的值都是这样的

Datapoint   Value       
HN1 heat-in \n
---
 \n     \n

 \n 
 HN2 room-temp \n
 ---
 \n      \n

 \n 

其中 \n 是我需要的值。我已经尝试过让线程等待，但这似乎也不起作用。

Answer 1

如果网页使用 javascript 加载或编辑 html，那么除非您像浏览器那样呈现页面（即使用浏览器），否则您将看不到这一点。您可以使用WebKit 和 WebKit.NET 库或多种替代方案之一。