3

我想通过使用 ExecutorService 和 ArrayBlockingQueue 了解我对生产者消费者设计的理解是否正确。我知道有不同的方法来实现这个设计，但我想，最后，这取决于问题本身。

我不得不面对的问题是：我有一个从一个大文件（6GB）读取的 ONE 生产者；它逐行读取并将每一行转换为一个对象。它将对象放在 ArrayBlockingQueue 中。

消费者（少数）从 ArrayBlockingQueue 中获取对象并将其保存到数据库中。

现在，显然生产者比消费者快得多；将每一行转换为一个对象需要几分之一秒，但对于消费者来说需要更长的时间。

所以......如果我希望通过这样做来加速这个过程：我创建了 2 个分类的“ProducerThread”和“ConsumerThread”，它们共享 ArrayBlockingQueue。两者之间协调的线程如下所示：

@Override
public void run()
{
    try{

        ArrayBlockingQueue<Ticket> queue = new ArrayBlockingQueue<Ticket>(40);
        ExecutorService threadPool = Executors.newFixedThreadPool(8);

        threadPool.execute(new SaleConsumerThread("NEW YORK", queue)); 
        threadPool.execute(new SaleConsumerThread("PARIS", queue));
        threadPool.execute(new SaleConsumerThread("TEL AVIV", queue));
        threadPool.execute(new SaleConsumerThread("HONG KONG", queue));
        threadPool.execute(new SaleConsumerThread("LONDON", queue));
        threadPool.execute(new SaleConsumerThread("BERLIN", queue));
        threadPool.execute(new SaleConsumerThread("AMSTERDAM", queue));

        Future producerStatus = threadPool.submit(new SaleProducerThread(progressBar, file, queue)); 
        producerStatus.get(); 
        threadPool.shutdown();   

    }catch(Exception exp)
    {
        exp.printStackTrace();
    }
}

我的问题是：

  1. 上面的设计实际上会同时使用每个线程吗？我的电脑是两个 2.4GHz 四核。

  2. 我不确定 Future 和 .get() 的用途是什么？

顺便说一下，结果很快（考虑到第一个版本是连续的，需要 3 小时）现在大约需要 40 分钟（但可能还有改进的余地）。

感谢任何指针

4

2 回答 2

2

我会看看等待 IO 花费了多少时间以及在 CPU 上花费了多少时间。我怀疑您的主要瓶颈是数据库，您需要查看如何使导入更有效。您可以尝试批量更新，因为这可以提高吞吐量。

于 2012-05-01T07:35:26.120 回答
1

答案：

  1. 我不确定“同时使用每个线程”是什么意思。但当然所有线程都可以同时执行。您的性能将取决于您拥有的线程数以及数据的分区方式。您可以尝试线程数以尝试获得更好的结果，而不是为每个城市分配线程，也许您可​​以使用记录号并将每个线程分配给记录号的模数。假设您有 10 个线程，记录 1、11、21 等将转到线程 1、2、22 等到线程 2。这样，每个线程您将获得相同数量的事务，因此您将充分利用线程，直到您完成。
  2. 这Future是为了允许代码在事件完成时阻塞。在这种情况下，该get方法返回结果。SaleProducerThread
于 2012-05-01T05:15:53.773 回答