问题标签 [scrapysharp]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
c# - C#在jquery之后抓取正确的网页内容
我使用 HtmlAgilityPack 已经有一段时间了，但是我一直在使用的网络资源现在有一个（看起来像）浏览器通过的 jQuery 协议。我期望加载的是产品页面，但实际加载的（通过 WebBrowser 控件和 WebClient DownloadString 验证）是重定向，要求访问者选择顾问并与他们注册。
换句话说，使用 Chrome 的 Inspect >> Elements 工具，我得到：
但是 WebBrowser 和 HTMLAgilityPack 只能得到：
在深入研究头部的类定义后，我发现页面确实使用 jQuery 来处理正确的加载，并在访问者浏览页面时处理操作（滚动、调整大小、悬停在图像上、选择其他图像等）。这是来自jQuery的头部：
我尝试了 ScrapySharp，如下所述： C# .NET：抓取动态（JS）网站
但这最终消耗了所有可用内存并且从未产生任何东西。
还有这个： htmlagilitypack 和动态内容问题 如上所述加载了不正确的重定向。
如果需要，我可以提供更多我试图从中提取的源，包括完整的 jQuery。
c# - C# ScrapySharp 'System.Net.CookieException: ''Name'='HttpOnly, NID' 部分 cookie 无效。'
所以我的代码遇到了一个意想不到的问题。出于某种原因，我无法从我的 Google 搜索中下载和打印链接...非常感谢帮助，因为我真的不确定这里发生了什么...我也在使用 DotNET SDK
错误：
scrapysharp - 使用 ScrapySharp 和 HtmlAgilityPack 抓取表格
我正在尝试从特定网站上抓取经济日历。实际上，我尝试了很多次都没有成功，我不知道我错在哪里。你能帮我吗？
c# - 使用scrapy sharp登录
我使用 c# windows forms 和 scrapysharp library 创建了一个简单的 windows 应用程序。我已经毫无问题地解析了数据。但现在我需要从另一个需要登录的页面解析数据。问题是我不知道在使用这个库时如何在这个模拟浏览器中保存 cookie。
当我使用用户名和密码提交表单时，它不记得我的会话
c# - 模拟单元测试的 ScrapySharp 响应
我在我的干净架构解决方案中使用 ScrapySharp，我需要在我的单元测试中模拟 Scraping 服务响应，以便单元测试是自包含的，并且实际上不会触及任何外部服务器。
我已经研究过使用 Moq，但没有看到为我的代码返回一个新的 ScrapySharp WebPage 然后在单元测试期间使用的方法。
我的基础设施项目中有一个服务接口：
然后，我将拥有该服务的真实世界实现，该实现将被注入到使用该服务的类中。我的单元测试将使用在我的测试期间注入的服务的模拟实现。
有没有人尝试过这样的事情，或者如果我没有正确考虑这个问题，可以帮助我吗？
c# - 当它只有属性时如何在scrapysharp中找到表单，即没有名称或ID
我是scrapySharp以及网络抓取的新手。我正在尝试抓取一个安全且具有登录屏幕的站点。form 元素没有 name/id 属性，因此使我的生活更加复杂。我一直无法弄清楚如何使用下面的代码加载表单。非常感谢任何见解！
C＃：
HTML：
c# - ScrapySharp 表单提交导致 System.AggregateException
我花了几个小时思考为什么这不起作用
我正在尝试使用 ScrapySharp 来抓取网站，现在只是尝试示例网站然后转移到我的实际网站。
每次我form.Submit()在我的程序中执行一次时，都会遇到 System.AggregateException（指定的演员表无效）
我的代码：
我的错误：
System.AggregateException：发生一个或多个错误。（指定的转换无效。）---> System.InvalidCastException：指定的转换无效。在 ScrapySharp.Network.ScrapingBrowser.CreateRequest (System.Uri url, ScrapySharp.Network.HttpVerb 动词) [0x0000b] in <0a639adc663f45108f057c429262c620>:0 在 ScrapySharp.Network.ScrapingBrowser.NavigateToPageAsync (System.Uri url, ScrapySharp.Network.HttpVerb 动词, System.String data, System.String contentType) [0x00066] in <0a639adc663f45108f057c429262c620>:0 --- 内部异常堆栈跟踪结束 --- 在 System.Threading.Tasks.Task.ThrowIfExceptional (System.Boolean includeTaskCanceledExceptions) [0x00011 ] 在 /Users/builder/jenkins/workspace/build-package-osx-mono/2019-06/external/bockbuild/builds/mono-x64/external/corert/src/System.Private。
1[TResult].GetResultCore (System.Boolean waitCompletionNotification) [0x0002b] in /Users/builder/jenkins/workspace/build-package-osx-mono/2019-06/external/bockbuild/builds/mono-x64/external/corert/src/System.Private.CoreLib/src/System/Threading/Tasks/Future.cs:496 at System.Threading.Tasks.Task1[TResult].get_Result () [0x00000] 在 /Users/builder/jenkins/workspace/build-package-osx-mono/2019-06/external/bockbuild/builds/mono-x64/external/corert/src/System .Private.CoreLib/src/System/Threading/Tasks/Future.cs:466 在 ScrapySharp.Network.ScrapingBrowser.NavigateToPage （System.Uri url，ScrapySharp.Network.HttpVerb 动词，System.String 数据，System.String contentType）[ 0x0000b] in <0a639adc663f45108f057c429262c620>:0 在 ScrapySharp.Html.Forms.PageWebForm.Submit () [0x00023] in <0a639adc663f45108f057c429262c620>:0 在 WebScraper.MainClass/x [0006] inargsUserClass.Main (0006[] arib/Projects/WebScraper/WebScraper/Program.cs:29
我厌倦了这个错误，非常感谢任何和所有的帮助..谢谢