ruby - 从 Scraper 编写 Web 应用程序的注意事项

Question

我目前正在尝试编写一个小型应用程序，该应用程序基本上将寄生于另一个网站（我学校的年级门户网站）的信息，基本上是为了使另一个网站上的内容更有用。我现在有一个用 Ruby 和 Mechanize 编写的概念验证。

然而，我正试图弄清楚从这里去哪里。运行概念验证需要很长时间，有时需要一分钟才能完成登录。我不怀疑由于网站的编写方式（它很旧），我可以让它更快。

在尝试将这个概念验证变成一个成熟的应用程序时，我应该关注什么？

Answer 1

当你刮痧时，你基本上是在另一个孩子的家里玩。他们可以（并且将）在闲暇时改变事情。您将需要大量的错误检查。我建议您在发布数据之前将数据抓取并保存到暂存环境中，并确保您的用户知道他们在获取数据时可能会出现间歇性延迟，而您在站点更改后疯狂地尝试恢复您的抓取程序。