3

这是我的问题，我有一个sqlite memory database使用QSql. 我有几个线程，每个线程都处理这个公共数据库的一个不同表。我Win API用来确保这些线程在不同的处理器上工作，如下所示：

SetThreadAffinityMask (hThread, processorMask);

当只有线程处理一张表时，它需要 10 秒并使用总 CPU 的 25%。但是当有 4 个线程处理 4 个不同的表时，它需要将近 40 秒并且只使用总 CPU 的 35%。我认为原因是一个数据库中有某种thread-safe同步。但是由于不同的线程读取或写入不同的表，线程安全会减慢我的程序。我该如何优化它。

更新：最可能的原因是内部的某种锁Qt或/并且Sqlite 3减慢了我的程序，因此是否可以通过预先设置关闭或绕过这些锁。

更新2：这是一个例子。（可能有点长，抱歉）

class MultiProcessorThread
{
public:
    virtual void run();
    bool start()
    {
        m_hThread = CreateThread (NULL, 0, MultiProcessorThread::ThreadFunc, this, CREATE_SUSPENDED, NULL);

        if (m_hThread != INVALID_HANDLE_VALUE)
        {
            RunningThreadCount++;
            m_ProcessorMask = 1 << ( (RunningThreadCount - 1) % ProcessorCount);
            SetThreadAffinityMask (m_hThread, m_ProcessorMask); // Make thread working on different processor
            ResumeThread (m_hThread);
            return true;
        }
        else
            return false;
    }
protected:
    static DWORD WINAPI ThreadFunc (LPVOID in);
    HANDLE m_hThread;
    DWORD_PTR m_ProcessorMask;
    static DWORD_PTR ProcessorCount;
    static DWORD_PTR RunningThreadCount;
    static DWORD_PTR GetNumCPUs();
};

DWORD_PTR MultiProcessorThread::ProcessorCount = GetNumCPUs();
DWORD_PTR MultiProcessorThread::RunningThreadCount = 0;
DWORD_PTR MultiProcessorThread::GetNumCPUs() // Get how many processors on this PC
{
    SYSTEM_INFO m_si = {0};
    GetSystemInfo (&m_si);
    return (DWORD_PTR) m_si.dwNumberOfProcessors;
}
DWORD WINAPI MultiProcessorThread::ThreadFunc (LPVOID in)
{
    static_cast<MultiProcessorThread*> (in)->run();
    return 0;
}

class Run : public MultiProcessorThread
{
public:
    void run()
    {
        int i = 0;
        QString add = "insert into %1 values(1)";
        add = add.arg (table);
        QString sel = "select a from %1 ";
        sel = sel.arg (table);
        QString del = "delete from %1 where a=1";
        del = del.arg (table);

        while (++i) // read and write database
        {
            query.exec (add);
            query.exec (sel);
            query.exec (del);
        }
    }
    QSqlQuery query;
    QString table;
};  

int main (int argc, char *argv[])
{
    QCoreApplication a (argc, argv);
    QSqlDatabase db = QSqlDatabase::addDatabase ("QSQLITE", "test"); 
    db.setDatabaseName (":memory:"); // All threads working on the same memory database.
    db.open();
    QSqlQuery q (db), q1 (db), q2 (db);
    q.exec ("create table A (a)");
    q1.exec ("create table B (a)");
    q2.exec ("create table C (a)"); // All threads working on different table.
    Run b[3];
    b[0].query = QSqlQuery (q);
    b[0].table = "A";
    b[1].query = QSqlQuery (q1);
    b[1].table = "B";
    b[2].query = QSqlQuery (q2);
    b[2].table = "C";
    b[0].start();
    b[1].start();
    b[2].start();
    return a.exec();
}
4

3 回答 3

1

首先，不要显式设置关联掩码，windows 会自动在最空闲的核心上分配线程。在这种情况下，依靠操作系统进行线程分发比您的代码更好。

据我所知，sqlite 在写入时会锁定整个数据库，这就是为什么您没有获得预期的性能提升。看看 sqlite 锁定文档http://www.sqlite.org/lockingv3.html

于 2012-01-27T09:05:00.137 回答
0

与磁盘 I/O 吞吐量相比，您是否测量过线程在 CPU 上花费的时间？

这可能与线程和锁无关。它可能与阿姆达尔定律有关。

于 2012-01-24T14:50:27.737 回答
0

Qt 文档对此毫不含糊。来自http://doc.qt.nokia.com/4.7/threads-modules.html#threads-and-the-sql-module：

线程和 SQL 模块

只能在创建它的线程内使用连接。不支持在线程之间移动连接或从不同线程创建查询。

此外，QSqlDrivers 使用的第三方库可以进一步限制在多线程程序中使用 SQL 模块。有关详细信息，请参阅数据库客户端的手册

没有办法通过 Qt API 做你想做的事。

于 2012-01-27T14:17:58.227 回答