有没有一种方法，甚至可以通过使用 URL 来获取产品详细信息。假设我从沃尔玛或 bestbuy 等商店粘贴产品的 URL，是否可以编写一些东西来检索产品信息（价格、名称、信息等）。这是否存在？或者这是否必须是我可以为每个特定商店编写的特定于站点的东西？
问问题
268 次
3 回答
2
我看到的一个解决方案是使用例如Tika解析 URL 重定向到的页面的 HTML 代码，但我不确定有问题的电子商务网站是否会非常喜欢这样:)也许你可以问他们是否已经实现了API 来访问他们的产品数据？
于 2012-06-14T21:35:50.617 回答
1
是的，这是可能的，但由于same-origin-policy不能使用 JavaScript 。您必须将该 URL 发送到服务器，在服务器端读取该外部页面并将结果返回给服务器。
在服务器端（无论您使用哪种语言）下载网页，解析它（如果可以，使用xml / xpath ）并提取相关信息。
如前所述，请注意，一些网站禁止此类访问（称为网络抓取），其他网站可能会积极尝试阻止这种情况，例如通过发现假客户端。
于 2012-06-14T21:35:14.967 回答
1
您所说的是网站抓取，是的，这是可能的，并且有很多工具可以帮助您。不过，有些网站对您这样做并不满意。
您可以在 C# 中使用 HttpWebRequest 类从 url 请求数据，然后使用 XmlReader 或http://html-agility-pack.net/之类的东西解析它
于 2012-06-14T21:36:51.627 回答