4

我这里有潜在的内存泄漏。应该是小韩的吧。我希望得到你的见解。(这几天一直在调试这个脚本,昨晚我终于放弃了)。

下面是这个脚本的作用:

基本上,这是一个后台工作者(托管在 Pagodabox)。这就是为什么它是一个无限的while循环的原因。一步步:

  1. 它试图获取一篇未处理的文章
  2. 然后从相关表中获取相关信息
  3. 它将信息保存到表中(emailerscheds)
  4. 自然地,由于从表中只取到一篇文章记录,它会返回顶部并获取另一篇文章。
  5. 并再次从 1 开始。

问题:第一次记录后内存没有被清除,最终分配的内存,无论多么大,都用完了。我不得不认为,由于您正在处理一个新的数据库对象,因此必须清除内存。但事实并非如此。

我尝试了不同的方法,你可以想到清除内存。我尝试将变量设为 NULL,unset(),我已经声明了 gc_enable,gc_collect_cycles(),我尝试让脚本休眠 60 秒,希望垃圾收集器能在平静的时刻完成他的工作(眨眼——我知道我疯了)。我认为 ORM 是问题,所以我尝试了 DB。我试过关闭分析——顺便说一句,这有帮助,但首先不是问题。我试过__destruct。

内存仍然耗尽。

您可能会说数据集可能很大。这是。但问题是,这可以在内存不足之前处理大约 3 到 4 条文章记录。意思是,它实际上可以处理至少一个。我希望在 1 条记录之后,内存被释放。


public function action_grab_article_topics()
{
    gc_enable();

    $x = 1;
    while ($x == 1)
    {

        // $articles = ORM::factory('article')
        //   ->where('sent', '=', 0)
        //   // ->limit(1)
        //   ->find();

        $articles = DB::select()
                ->from('articles')
                ->where('sent', '=', 0)
                ->as_object()
                ->execute()
                ->current();

        $topics = array();
        //foreach ($articles as $a)
        //{
            //$topics = $articles->topics->find_all()->as_array();
        if ($articles)
        {   
            $topics = DB::select('topic_id')
                    ->from('articles_topics')
                    ->where("article_id", '=', $articles->id);

            if (! empty($topics))
            {
                $members = DB::select('members.id', 'members.email', 'members_topics.topic_id', 'topics.topic_name')
                        ->from('members_topics')
                        ->join('members')
                        ->on('members.id', '=', 'members_topics.member_id')
                        ->join('topics')
                        ->on('topics.id', '=', 'members_topics.topic_id')
                        ->where('members_topics.topic_id', 'IN', $topics)
                        // ->limit(20)
                        ->as_object()
                        ->execute();

                foreach ($members as $m)
                {
                    $topic_id = $m->topic_id;
                    $topic_name = $m->topic_name;

                    $data = array(
                                "member_id" => $m->id,
                                "topic_id" => $topic_id,
                                "article_id" => $a->id,
                                "topic_name" => $topic_name,
                                "title" => $a->title,
                            );

                        $emailersched = ORM::factory('emailersched')->values($data)->save();

                        unset($m);

                 }

                $members->__destruct();

            //sleep(2);

            //$m = NULL;
            }

            $data = array('sent'=> time());

            $query = DB::update('articles')
                    ->set($data)
                    ->where('id', '=', $articles->id)
                    ->execute();

             // $articles->sent = time();
             // $articles->save();


            //}

         //echo "done";
            //$a = NULL;
            //$articles->__destruct();

            $articles = NULL;
            $topics = NULL;
            unset($articles);
            unset($topics);

            }

        gc_collect_cycles();
        //sleep(60);

    }
}

编辑:在我的“内存泄漏”调查中(因为我的代码继续遇到问题),这里有一些我遇到的奇怪的东西:

http://pastebin.com/c7pc5XjW此代码在 Kohana 和 FuelPHP 上运行 - 相同的基本代码库,使用内置 DB 模块,不使用 ORM,访问相同的数据库。燃料不使用油。它是通过公共 http 访问的,就像访问 Kohana 一样。

此代码尝试处理总共约 10k 条记录中的 50 条记录。

这是我对 Kohana 的记忆日志:http: //pastebin.com/gUiF9D2w

这是我的 FuelPHP 内存日志:http: //pastebin.com/v8Pzwu77

请注意,Kohana 以 3Mb 开始,以 7Mb 结束。然而,FuelPHP 开始时大约 11Mb,但也以 11MB 结束。虽然 Kohana 一开始很小,但在我看来,它在这方面确实存在漏洞。

有什么想法吗?

4

3 回答 3

4

您是否还确保已禁用数据库分析?

配置/数据库.php

'profiling'    => FALSE

如果它设置为 TRUE,这会导致巨大的泄漏,默认情况下它是。

很容易错过这个设置,只更改引导文件中的主要分析设置。

于 2012-09-18T11:04:24.303 回答
1

调试一个遗留的 Kohana 1 项目,我发现 config/database.php 中的“基准”设置是罪魁祸首。在现有配置中设置为 TRUE 会导致内存泄漏,每个数据库查询对应于 UPDATE/INSERT 中的数据大小或 SELECT 中结果集的大小。设置为 FALSE 并且内存泄漏消失了。

于 2015-03-23T12:36:50.530 回答
0

这是一场精彩的框架大战:在我绝望的情况下,我尝试将相同的代码运行到 FuelPHP(通过 OIL 上的任务)。

结果:

-302k 记录在 2 分钟内处理 - 内存泄漏消失了!

所以,我想这里的结论是,Kohana 代码库在某个地方存在泄漏,不知何故。

于 2012-05-05T15:38:03.217 回答