我想根据我输入的关键字从 php 论坛中提取数据。有没有准备好可以做到这一点的东西？举个例子 Kadinlarkulubu.com/forum.php 关键词 ios, android
多亏了这些信息，我想获取日期、时间、消息、消息的 URL、消息中的关键字、写此消息的成员的昵称。
我需要在不同的论坛工作，所以我需要一个或多个可以在 vBulletin 等主要大型平台上运行的工具。
问问题
1065 次
2 回答
1
您需要创建自己的网络爬虫。如果您希望它在各种不同的平台上工作，则必须在该爬虫上创建变体。
首先，选择你最喜欢的论坛，并给它一个种子页面（开始抓取的页面）。小心行事，因为您可能需要登录才能查看帖子，如果是这种情况，这可能并不容易（例如，制作一个让您登录并破坏验证码的爬虫）。您还可以使用搜索功能（因为许多论坛都有类似于 的搜索 URL ?q=your_tag&p=1，这可以使事情变得更容易。
只需检查您是否在同一个域上，并且您没有进入无限循环，除此之外，您应该没问题。
预计这是一个长期项目:)
如果论坛提供 API，另一种选择是使用 API，但我怀疑你会这么幸运。
于 2013-02-26T09:00:28.277 回答
0
2 种方法 只有当论坛的所有者为您提供访问论坛 API（如果有）或数据库的访问权限时，简单的方法才有可能
最难的方法是制作一个抓取器，逐页读取论坛并将您喜欢的信息解析为您可以使用的东西。
于 2013-02-26T08:44:23.340 回答