0

我是java新手。我想做一个简单的网络爬虫。如何访问java中网站的robots.txt文件。实际上我对robots.txt不太了解。请帮帮我。

4

1 回答 1

1

你需要解决两个任务：

  1. 使用 HTTP 库通过 HTTP 获取文件——如何在 Java 中发送 HTTP 请求？
  2. 为 robots.txt 文件编写或使用解析器——robots.txt parser java
于 2012-04-10T23:52:21.273 回答