1

我正在编写一个小程序，将 Twitter 公共流中的推文放入 HBase 数据库。该程序使用两个线程，一个用于收集推文，一个用于处理它们。第一个线程使用 twitter4j StatusListener 获取推文并将它们放入容量为 100 的 ArrayBlockingQueue 中。第二个线程从队列中获取状态，过滤所需的数据并将它们移动到数据库中。处理比收集状态需要更多时间。

生产者看起来像这样：

public void onStatus(Status status) {
    try {
        this.queue.put(status);
    } catch(Exception ex) {
        ex.printStackTrace();
    }
}

消费者使用 take 并调用一个函数来处理新的状态：

public void run() {
    try {
        while(true) {
            // Get new status to process
            this.status = this.queue.take();
            this.analyse();
        }
    } catch(Exception ex) {
        ex.printStackTrace();
    }
 }

在 main 函数中创建并启动了两个线程：

ArrayBlockingQueue<Status> queue_public = new ArrayBlockingQueue<Status>(100);

Thread ta_public = new Thread(new TweetAnalyser(cl.getOptionValue("config"), queue_public));
Thread st_public = new Thread(new RunPublicStream(cl.getOptionValue("config"), queue_public));

ta_public.start();
st_public.start();

该程序运行了一段时间没有任何问题，但随后突然停止。此时队列已满，消费者似乎无法从中获取新状态。我尝试了几种生产者/消费者模式的变体，但均未成功。不会抛出异常。

我不知道要寻找失败。我希望有人能给我一个提示或解决方案。

4

1 回答 1

0

如果使用阻塞队列，请仔细检查代码中的阻塞命令（ArrayBlockingQueue 的 put 和 take），如果使用多个列表，则检查拼写错误。

于 2015-10-25T12:53:10.020 回答