java - 如何使用 Java 查看网页并将数据保存到数据库？

Question

我正在从网站收集数据并尝试将其保存到数据库（或非常易于访问的类似数据库），而不是在我的桌面或文件夹中存放一堆文件。

我需要查看很多页面（准确地说是 1900 年）。我想节省获取这些数据的时间，并决定制作一个 Java 程序来执行此操作。

这基本上就是我想要做的。

1. 访问网页：www.TestWebsite.com/items/0
2. 将（名称，描述，图像（png））保存到一个数组/类到数据库中。
3. 重复直到我起床：www.TestWebsite.com/items/1899

我希望能够离线访问这些数据，而无需上网查看。

关于我应该如何开始的任何想法。我已经制作了一个基本的网页查看器，我只是错过了将字符串和图像保存到数据库之间的步骤。

我很感激任何帮助！

Answer 1

它相当简单，但如果您还没有学习一点 SQL，则需要学习一些 SQL。

您还必须选择一个数据库平台——我建议 SQLite 用于此目的，因为数据供个人使用，而且它轻量级且易于设置。

这是一个关于使用 JDBC（Java 数据库连接）与 SQLite 数据库对话的教程： http ://en.wikibooks.org/wiki/Java_JDBC_using_SQLite 。它从设置到插入数据，所以一旦你完成了修改你的网页查看代码以获取你需要的数据并将其推入数据库应该很简单。

祝你好运！

Answer 2

实际上，前几天才这样做。我使用jsoup来废弃我需要的网页并写入我的本地数据库。非常简单的网页解析框架。