我是一名投资者,希望抓取某些股票变量以在 sql 数据库中进行分析(特别是 PE 比率)。
我阅读了一本基本的 Java 书籍,但目前缺乏从网页中获取数据并将其存储在表格中的编程经验。我查看了 HtmlUnit 页面上的示例,但不知道如何让一切正常工作。
目标:
- 使用 Htmlunit,数据挖掘网站表中的所有值
http://ycharts.com/companies/AAPL/historical_data/price# - 将值存储在我的 SQL 数据库中以进行分析。
- 对所有股票重复/循环并将数据存储在数据库中。
这是我完成任务的基本尝试。
// First, I need to import some Htmlunit libraries, but im not sure which ones yet.
// Code below datamines the PE ratio for aapl?
WebClient webClient = new WebClient();
HtmlPage page = webClient.getPage("http://ycharts.com/companies/AAPL/historical_data/pe_ratio");
HtmlTable table = (HtmlTable)page.getFirstByXPath("//table[@class='histDataTable']");
for (HtmlTableRow row : table.getRows()) {
System.out.println("Found row");
for (HtmlTableCell cell : row.getCells()) {
System.out.println(" Found cell: " + cell.asText());
// Not familiar enough with exceptions, but think i need them somewhere?
// And then when I decide to actually create and update statements, ill need something like?
System.out.println("doing ticker " + ticker + " " + date + " " + pe);
insert.setString(1,ticker);
insert.setDate(2,date);
insert.setDouble(3,pe);
insert.execute();
}catch(PSQLException e)
{
//set update values
update.execute();
}