information-extraction - 如何将程序连接到（学校）网站以提取数据

Question

这只是由一个为大学创建的程序提出的，该程序提取了可用课程、代码、教师、时间、地点的完整列表。

要访问这些信息，我需要登录我所在大学的安全网站并搜索个别课程。程序如何（我看过 iphone 应用程序等），您可以在其中搜索大学、课程，它会显示课程的当前和更新名册。

程序如何在没有 API 或登录凭据的情况下访问这些数据以提取可用的课程数据。

Answer 1

假设大学没有某种 API，这些应用程序可能只是从屏幕上抓取 html 数据并将相关部分提取出来以供其应用程序使用。这可以工作，但工作起来总是很痛苦，因为网站经常会改变它们的 HTML 结构，这将需要你重写你的屏幕抓取工具来弥补。

请注意，某些大学数据的使用可能会受到联邦 FERPA 法律的限制。由于该大学没有某种形式的公共 API 来获取该数据，因此明智的做法是与他们核实一下他们对您从他们的网站提取数据以在您的应用程序中使用的感觉。当他们发现您的应用程序正在从他们的安全网站获取数据时，这将避免出现大问题。