Qt資料庫應用之實現通用資料生成器

2022-02-19 13:00:53

一、前言

有兩種應用場景需要用到資料生成器，一種是需要測試資料庫效能，比如在100萬條和1000萬條記錄的時候對比查詢或更新語句執行耗時，一種是隨機模擬生成一堆資料，用來測試程式的效能，看下程式中到了百萬千萬級別的資料量的時候，程式的程式碼執行是否受影響，影響有大等。很多人覺得sqlite資料庫效能超過幾十萬就不行，於是親自用這個資料發生器隨機模擬生成了一億條記錄，測試下來發現效能有損失，但是不像傳說中的垃圾，起碼還是完全可用的，只要注意索引要建好，檔案體積比較大就是，檔案體積膨脹到了1.2GB，估計效能損耗很大程度上在磁碟讀寫。

通過對各種資料庫（sqlite、postgres、mysql、sqlserver等）不同資料量階段（1萬條、100萬條、1000萬條等）做不同的sql語句處理（查詢、插入、刪除、更新），Qt內建了sqlite資料庫，所以對sqlite的支援是最快最友好的，其次是postgresql資料庫、然後是mysql，支援最差的效能最低的是ODBC模式連線的資料庫，比如sqlserver資料庫必須用odbc的形式連線，由於odbc是一箇中間層，理論上效能也是肯定沒有直接連線處理快，不過縱觀各種用Qt寫的專案的場景，很少是需要千萬級別億級別的資料量的，真的到了這個程度可以考慮分庫分表來解決。

關於Qt資料庫相關開發的一些經驗總結

二、功能特點

同時支援多種資料庫比如odbc、sqlite、mysql、postgresql、sqlserver、oracle、人大金倉等。

一個資料庫類即可管理本地資料庫通訊，也支援遠端資料庫通訊等。

資料庫執行緒支援執行各種sql語句，包括單條和批次。

元件中的所有類列印資訊、錯誤資訊、執行結果都訊號發出去。

整合資料庫通用翻頁類（負責具體處理邏輯），搭配分頁導航控制元件（負責外觀），形成超級牛逼的翻頁控制元件。

整合資料庫自動清理類，設定最大記錄數後臺自動清理早期資料。

整合自定義委託類，支援核取方塊、文字方塊、下拉框、日期框、微調框、進度條等。

同時支援Qt4-Qt6，親測Qt4.6到Qt6.3任意版本，任意系統和編譯器。

本元件無故障 360天7乘24小時執行在至少上萬個現場，商業級別品質保證。

每個類都對應完整詳細的使用範例，註釋詳細，非常適合閱讀學習。

可以作為獨立的程式執行，比如自動清理早期資料，同步資料到雲端。

全部執行緒處理，不卡介面，自動重連資料庫。

普通測試情況，sqlite資料庫，資料庫發生器每秒鐘插入1000條記錄約0.003秒鐘，同時自動清理資料類每秒鐘刪除1000條記錄約0.13秒，不同執行緒互不干擾。

三、體驗地址

體驗地址：https://pan.baidu.com/s/15ZKAlptW-rDcNq8zlzdYLg 提取碼：uyes 檔名：bin_dbtool.zip

國內站點：https://gitee.com/feiyangqingyun

國際站點：https://github.com/feiyangqingyun

四、效果圖

五、相關程式碼

void frmDbCreat::on_btnOpen_clicked()
{
    if (ui->btnOpen->text() == "開啟資料庫") {
        DbInfo dbInfo;
        dbInfo.connName = this->objectName();
        dbInfo.dbName = AppConfig::DbName2;
        dbInfo.hostName = AppConfig::HostName2;
        dbInfo.hostPort = AppConfig::HostPort2;
        dbInfo.userName = AppConfig::UserName2;
        dbInfo.userPwd = AppConfig::UserPwd2;

        QString dbType = AppConfig::DbType2.toUpper();
        if (dbType == "SQLITE") {
            dbInfo.dbName = DbHelper::getDbDefaultFile();
        }

        dbConn->setConnInfo(DbHelper::getDbType(dbType), dbInfo);
        if (dbConn->openDb()) {
            dbConn->start();
            ui->btnOpen->setText("關閉資料庫");
        } else {
            QString error = dbConn->getDatabase().lastError().text();
            QUIHelper::showMessageBoxError("開啟資料庫失敗!n" + error, 3);
        }
    } else {
        dbConn->stop();
        dbConn->closeDb();
        ui->btnOpen->setText("開啟資料庫");
        on_btnClear_clicked();
    }

    QTimer::singleShot(100, this, SLOT(getMaxID()));
    QTimer::singleShot(1000, this, SLOT(on_btnStart_clicked()));
}

void frmDbCreat::on_btnCopy_clicked()
{
    //將資料庫設定引數一鍵貼上過來
    ui->cboxDbType->setCurrentIndex(ui->cboxDbType->findText(AppConfig::LocalDbType));
    ui->txtDbName->setText(AppConfig::LocalDbName);
    ui->txtHostName->setText(AppConfig::LocalHostName);
    ui->txtHostPort->setText(QString::number(AppConfig::LocalHostPort));
    ui->txtUserName->setText(AppConfig::LocalUserName);
    ui->txtUserPwd->setText(AppConfig::LocalUserPwd);
}

void frmDbCreat::getMaxID()
{
    if (!dbConn->getOk()) {
        return;
    }

    //根據插入sql語句取出對應的表名和自增欄位
    QString sqlColumn = AppConfig::SqlColumn2;
    QString sqlValue = AppConfig::SqlValue2;
    if (sqlValue.contains("AUTO_INCREMENT")) {
        sqlColumn.replace("insert into ", "");
        sqlValue.replace("values", "");
        QString tableName = sqlColumn.split("(").first();
        sqlColumn.replace(tableName, "");
        sqlColumn.replace("(", "");
        sqlColumn.replace(")", "");
        sqlValue.replace("(", "");
        sqlValue.replace(")", "");

        QStringList listColumn = sqlColumn.split(",");
        QStringList listValue = sqlValue.split(",");
        int index = listValue.indexOf("'AUTO_INCREMENT'");
        QString columnName = listColumn.at(index);
        //取出最大記錄數
        maxID = DbHelper::getMaxID(tableName, columnName, dbConn->getDatabase());
    }
}

void frmDbCreat::on_btnDo_clicked()
{
    if (!dbConn->getOk()) {
        return;
    }

    QString sql = AppConfig::SqlColumn2 + " " + AppConfig::SqlValue2;
    //qDebug() << TIMEMS << sql;

    QStringList sqls;
    for (int i = 0; i < AppConfig::Count2; ++i) {
        QString temp = sql;
        //替換自增ID
        maxID++;
        temp.replace("AUTO_INCREMENT", QString::number(maxID));
        //替換時間
        temp.replace("DATETIME", DATETIME);
        sqls << temp;
    }

    dbConn->append(sqls);
}

void frmDbCreat::on_btnCount_clicked()
{
    dbConn->selectCount("LogInfo", "LogID", "where 1=1");
}

void frmDbCreat::on_btnStart_clicked()
{
    if (ui->btnStart->text() == "啟動服務") {
        on_btnDo_clicked();
        timer->start();
        ui->btnStart->setText("停止服務");
    } else {
        timer->stop();
        ui->btnStart->setText("啟動服務");
    }
}

以上就是Qt資料庫應用之實現通用資料生成器的詳細內容，更多關於Qt資料生成器的資料請關注it145.com其它相關文章！