php - 带有作业队列系统的 PHP/Laravel 中的逻辑代码

Question

我正在使用 Laravel 3 制作一个网络爬虫，并有一个队列系统resque。

问题：我应该将抓取逻辑代码放在哪里？

我目前在控制器函数中有它，所以我可以通过访问它的 url 来测试它。这也允许使用 Cron 重复作业，因为resque不允许重复作业。我仍然需要保留这种简单的方法来测试抓取功能。

尝试：这就是我的想法，您将如何为此目的组织代码？

工人阶级

class ScraperWorker
{
    public function perform()
    {
        $url = $this->args['url']
        Scraper::do_scrape($url);
    }
}

刮痧类

class Scraper
{
    public static function do_scrape($url) {
        //some scraping code
    }
}

控制器类

用于快速测试和 Cron 作业

class Scraper_Controller extends Base_Controller {

    public function test_scrape($url) {
        Scraper::do_scrape($url);
    }
}

score 0 · Accepted Answer

我认为你在正确的轨道上。您可以更改的一件事是使 Scraper 及其方法不是静态的。这不会使它更难使用，但更容易进行单元测试。当 Scraper 变得更加复杂并需要配置时，这一点变得尤为重要。

PS。检查PHP-Spider：一个可扩展和可配置的蜘蛛/爬虫。它可以为您节省大量工作。完全披露：我写的。

1 回答 1