0

dealgoround.com和citypockets.com从livingsocial.com和其他日常交易网站访问用户帐户及其日常交易。这些网站要求用户提供他们的凭据以登录各自的网站，然后导入帐户详细信息。LivingSocial 和其他交易网站不提供对用户帐户的 API 访问。

我也希望能够访问其他网站并从那里导入数据。但我无法找出dealgoround.com和citypockets.com从 Groupon 和 LivingSocial 等导入数据的后端流程。

到目前为止，我能够发现网络爬虫/蜘蛛可以用来从网页中抓取数据。但我不确定网络爬虫在我们需要用户登录并且页面 url 被加密或至少是动态生成的 url 的场景中是否有用。

请帮助我并建议我这样做的方法。如果爬虫是解决这个问题的方法，请提供一些我可以在我的 .net 应用程序中使用的网络爬虫 API 的链接。

谢谢

阿提夫

4

2 回答 2

0

我能够找到答案......是的，网络爬虫是这种情况下的解决方案。

我们可以使用 PHP、ASP.net 或任何其他服务器端脚本语言来发送httppostrequest带有 post 参数（用户名/密码）的邮件。这将对用户进行身份验证（登录）。登录后，我们可以读取任何带有已登录用户信息的 url 的内容。

注意：在我的情况下，这不是对用户帐户的未经授权的访问，因为用户自己提供他们的凭据以从交易网站（如Dealsgoround.com和citypocket.com ）导入他们的数据

于 2011-09-19T13:04:00.970 回答
0

使用 Facebook 或 Google ID 等替代凭证登录的能力称为 Open Auth 或 OAuth（发音为 Oath）。

顺便说一句，您不应在未经用户明确许可的情况下导入数据，并注意安全问题。

有很多可用的文档，其中很多相当繁重。最好的起点是阅读规范RFC 5849

OAuth 网站也很有用http://oauth.net

于 2011-09-13T14:37:40.110 回答