问题标签 [scrapysharp]

Here's the project official "Documentation":

https://bitbucket.org/rflechner/scrapysharp/wiki/Home

No matter what I try, I can't find the CssSelect() method that the library is supposed to add to make querying things easier. Here's what I've tried:

Exactly how do I use this library? In the documentation it isn't clear what type html is.

我正在使用 ScrapySharp 在Maryland Case Search web 应用程序上发布一个表单来搜索案例。

使用 Fiddler，我找到了表单名称和表单字段；但是，每次我发布时，它总是返回初始搜索页面，而不是结果。

不确定我缺少什么，请参阅下面的代码。

任何帮助都非常感谢。

我成功地让 scrapysharp 在控制台应用程序中工作。

我在 VS2013 中创建了一个新的 MVC Web 应用程序，没有进行身份验证或其他任何特殊操作。我用 nuget 添加了 ScrapySharp，然后在我的 Home Controller 中有这个代码。我的页面结果没有得到任何回应。有谁知道为什么？如何让 scrapysharp 在 MVC Web 应用程序中工作？

编辑 实际上我只是尝试了一个 Windows 窗体应用程序，并且 NavigateToPage 也没有返回结果。这很奇怪，但它似乎只适用于控制台应用程序。有谁知道如何让 ScrapySharp 在控制台应用程序以外的其他东西中工作？

我以前从未做过任何网络抓取，只是开始。然而，该NavigateToPage功能永远不会完成。

这是我的代码：

导航到任何网站时它会继续加载（并且它在 localhost 中也不起作用），但它不会超时。据我所知，代码是正确的。所以我想知道这里还有什么问题？

我的浏览器只是在使用scrapysharp 导航到页面时继续加载，并且不会转到下一行代码。下面是我使用 c# asp.net web 表单的代码。我可以知道为什么吗？我使用的链接有效，可以手动浏览。代码只是卡在Browser.NavigateToPage(new Uri("http://www.asnb.com.my/v3_/asnbv2_0index.php"));浏览器中并继续加载。我正在使用 asp.net 网络表单。

我有来自我试图抓取的网站的数据。数据如下所示。如何提取table使用scrapysharp？

这是相关部分html：

我面临一个技术问题，我浏览了几篇文章以找到答案，但我无法从任何网站获得正确的答案。

我正在为我的项目使用 ScrapySharp 来抓取网页数据。当我尝试从http://edition.cnn.com/POLITICS网站爬取数据时，出现了这个问题。

首先，我通过 IE 加载页面，然后选择 Developer tools 来检查标签。在我为我的代码“//div[@class='cd__content']”选择了我需要的标签之后，此外，当我通过 ScrapySharp 加载上述网页时

rootNodes 的结果显示为 null

当我深入调查时，我看到当页面加载“SECTION”标签为空时，上面提到的 cd__content 在“SECTION”标签内。但是当我通过 IE 或 Chrome 检查时，所有标签都充满了信息，这就是为什么我可以选择元素，但是当我以编程方式加载页面时它不会。我的问题是，如何加载页面并使用 ScrapySharp 填充所有信息。

请高手帮忙看看。

当包含在我的代码中时

导致 Windows 窗体停止工作（一旦执行到此行，窗体就会冻结，我必须停止执行）。但是，没有错误或任何其他表明有问题的东西。

我正在使用 scrapySharp 或 HtmlAgilityPack 在 c# 中做一个程序。但是我有我需要的那部分信息的缺点，当我单击 HTML 元素（按钮，链接）时会出现。

在一些论坛中，有人评论说使用 Selenium 时可以操作 html 元素，所以我尝试了以下操作

但作为一个网络自动化测试，它会打开一个浏览器和网站来执行选择过程（点击），所以它不是我用的，因为我必须在内部对几个网站进行检查。

虽然我可以继续使用 Selenium，但我正在寻找避免使用浏览器的方法，而是在没有浏览器的情况下单击。有谁知道如何实现点击链接或按钮，而不需要打开浏览器进行网页抓取？

我是网络抓取的新手，我必须执行以下操作： 1. 转到网页 2. 查找元素 3. 获取其值

现在我访问网页没有问题，效果很好。问题是我需要的元素实际上来自一个显示在 iframe 中的 jsp。

我正在尝试使用 HtmlAgilityPack 和 ScrapySharp 来获取元素。

这是我的代码：

这工作正常。但它返回以下内容：

现在我需要的实际元素是使用我认为的 REPGPdata.jsp 显示的。jsp显示数据如下：

我需要的元素将在标签“Ondernemingsnr”旁边。有谁知道我怎样才能访问我需要的元素？