0

我提出了一个使用 PHP、MySQL 和 cron 的非常简单的作业排队系统。

  1. A()Cron 会调用一个网站，该网站有一个每 2 秒调用一次函数的函数。A()从表中搜索并检索一行A
  2. 检索一行后，将使用列A()中的值更新该行1working
  3. A()然后对检索到的行中的数据做一些事情
  4. A()B然后使用处理步骤中获得的值在表中插入一行3。

问题：我注意到B由于函数多次A()从表中检索同一行，表中有时会出现重复值。A

上面设计的哪一部分允许重复处理，应该如何修复？

请不要建议像rabbitMQ这样的东西，至少要详细说明它是如何实现的。我阅读了他们的一些文档，但不明白如何实现它。谢谢！

更新：c()我有一个每分钟调用一个页面（调用 function ）的 cron 作业。该函数c()执行 30 次循环，调用函数A()，sleep()用于延迟。

4

2 回答 2

2

提供的答案很好，文件锁效果很好，但是，由于您使用的是 MySQL，我想我也会回答。使用 MySQL，您可以使用GET_LOCK和RELEASE_LOCK实现协作异步锁定。

*免责声明：以下示例未经测试。我之前已经成功地实现了一些非常接近这个的东西，下面是大致的想法。

假设您已将此 GET_LOCK 函数包装在名为 Mutex 的 PHP 类中：

class Mutex {
  private $_db = null;
  private $_resource = '';

  public function __construct($resource, Zend_Db_Adapter $db) {
    $this->resource = $resource;
    $this->_db      = $db;
  }

  // gets a lock for $this->_resource; you could add a $timeout value,
  // to pass as a 2nd parameter to GET_LOCK, but I'm leaving that
  // out for now
  public function getLock() {
    return (bool)$this->_db->fetchOne(
      'SELECT GET_LOCK(:resource)',
      array(
        ':resource' => $this->_resource
      ));
  }

  public function releaseLock($resource) {
    // using DO because I really don't care if this succeeds; 
    // when the PHP process terminates, the lock is released
    // so there is no worry about deadlock
    $this->_db->query(
      'DO RELEASE_LOCK(:resource)',
      array(
        ':resource' => $resource
      ));
  }
}

在 A() 从表中获取方法之前，让它请求锁。您可以使用任何字符串作为资源名称。

class JobA {
  public function __construct(Zend_Db_Adapter $db) {
    $this->_db = $db;
  }

  public function A() {
    // I'm assuming A() is a class method and that the class somehow
    // acquired access to a MySQL database - pretend $this->db is a 
    // Zend_Db instance. The resource name can be an arbitrary 
    // string - I chose the class name in this case but it could be 
    // 'barglefarglenarg' or something.
    $mutex = new Mutex($this->db, get_class($this));

    // I choose to throw an exception but you could just as easily 
    // die silently and get out of the way for the next process, 
    // which often works better depending on the job
    if (!$mutex->getLock())
      throw new Exception('Unable to obtain lock.');

    // Got a lock, now select the rows you need without fear of 
    // any other process running A() getting the same rows as this
    // process - presumably you would update/flag the row so that the
    // next A() process will not select the same row when it finally
    // gets a lock. Once we have our data we release the lock

    $mutex->releaseLock();

    // Now we do whatever we need to do with the rows we selected
    // while we had the lock
  }
}

当您设计多个进程选择和修改相同数据的场景时，这种事情会非常方便。使用 MySQL 时，为了可移植性，我更喜欢这种数据库方法而不是文件锁定机制 - 如果锁定机制在文件系统外部，则更容易在不同平台上托管您的应用程序。当然可以，而且效果很好，但是根据我的个人经验，我发现这更容易使用。

如果您计划将您的应用程序跨数据库引擎移植，那么这种方法可能不适合您。

于 2013-02-13T21:41:22.010 回答
0

一个问题可能是一开始的处理：

Cron 将调用函数 A() 每 2 秒从表 A 中搜索和检索一行。

在没有索引的表上处理这部分脚本可能需要超过两秒的时间，因此您可以选择多行。

您可以使用独占文件锁来解决此问题。

我感觉不仅仅是工作流程，如果您可以显示一些附加的基本代码，那么代码中也可能存在问题。

编辑

我认为从你的最后一次更新来看是时机：

更新：我有一个每分钟调用一个页面（调用函数 c()）的 cron 作业。这个函数 c() 执行 30 次循环，调用函数 A()，使用 sleep() 来延迟。

那是很多的跳跃，我认为您可能会遇到 cron 重叠的线程问题。

于 2012-09-24T14:27:13.533 回答