问题标签 [screen-scraping]

哪些内置 PHP 函数对网页抓取有用？有哪些好的资源（网络或印刷）可以加快使用 PHP 进行网络抓取？

在不使用任何外部库的情况下，将网站的 HTML 内容提取到字符串中的最简单方法是什么？

我一直在使用正则表达式在 PHP 中进行一些 HTML 抓取。这行得通，但结果是挑剔和脆弱的。有没有人使用过任何提供更强大解决方案的软件包？配置驱动的解决方案将是理想的，但我并不挑剔。

我需要获取一个网页并从页面中提取地址信息。有些比其他更容易。我正在寻找可以帮助我完成这项工作的 Firefox 插件、Windows 应用程序或 VB.NET 代码。

理想情况下，我希望在我们的管理员（ASP.NET/VB.NET）上有一个网页，您可以在其中输入一个 URL，它会删除该页面并返回一个我可以放入网格的数据集。

我需要自动化一个涉及使用登录表单的网站的过程。我需要在登录页面之后的页面中捕获一些数据。

我知道如何筛选普通页面，但不知道如何筛选安全站点后面的页面。

1. 这可以通过 .NET WebClient 类来完成吗？
   • 我将如何自动登录？
   • 我将如何保持登录其他页面？

我想获取 HTML 中隐藏输入字段的值。

我想在 Python 中编写一个返回值的正则表达式fooId，因为我知道 HTML 中的行遵循格式

有人可以在 Python 中提供一个示例来解析 HTML 的值吗？

我们正在构建一个 CMS。该站点将由用户在 aspx 页面中构建和管理，但我们希望创建一个 HTML 的静态站点。我们现在使用的方法是使用我在此处找到的代码，该代码重载了 Aspx 页面中的 Render 方法并将 HTML 字符串写入文件。这适用于单个页面，但我们的 CMS 的问题是，我们希望从一开始就自动为站点创建一些 HTML 页面，甚至在创建者编辑系统中的任何内容之前。有谁知道有什么方法可以做到这一点？

这个问题是我之前关于从 ASPX 页面获取 HTML 的问题的后续问题。我决定尝试使用 webclient 对象，但问题是我得到了登录页面的 HTML，因为需要登录。我尝试使用 webclient 对象“登录”：

但是我仍然一直得到登录页面。我知道用户名信息没有存储在 cookie 中。我一定是做错了什么或者遗漏了重要的部分。有谁知道它可能是什么？

我正在尝试抓取一个 html 表并将其数据保存在数据库中。您发现哪些策略/解决方案有助于实现该计划。

我对 Java 和 PHP 最满意，但任何语言的解决方案都会有所帮助。

编辑：有关更多详细信息，UTA（盐湖城公交系统）在其网站上提供了公交时刻表。每个时刻表都显示在一个表格中，该表格在标题中包含车站，在行中包含出发时间。我想通过时间表并将信息以我可以查询的形式保存在表中。

这是时间表的起点

寻找可以让我抓取 HTML 模型并保持页面完整性的Linux application （或 Firefox 扩展） 。

Firefox 做得几乎完美，但没有抓取 CSS 中引用的图像。

Firefox 的 Scrapbook 扩展可以获取所有内容，但会扁平化目录结构。

如果所有文件夹都成为页面的子级，我不会非常介意index。