OpenCV影象處理之影象拼接詳解

2022-08-04 14:02:29

影象拼接技術

一、需求分析

將下面兩張影象進行拼接

拼接得到一張完整的影象

二、具體步驟

1.選擇特徵點

    //1、選擇特徵點
    //左圖 右圖 識別特徵點 是Mat物件 用c d儲存
    surf->detectAndCompute(left,Mat(),key2,d);
    surf->detectAndCompute(right,Mat(),key1,c);
 
    //特徵點對比，儲存   特徵點為中心點區域比對
    vector<DMatch> matches;
    matcher.match(d,c,matches);
 
    //排序從小到大 找到特徵點連線
    sort(matches.begin(),matches.end());

2.儲存最優的特徵點物件

    //2、儲存最優的特徵點物件
    vector<DMatch>good_matches;
    int ptrpoint = std::min(50,(int)(matches.size()*0.15));
    for (int i = 0;i < ptrpoint;i++)
    {
        good_matches.push_back(matches[i]);
    }
 
    //2-1、畫線 最優的特徵點物件連線
    Mat outimg;
    drawMatches(left,key2,right,key1,good_matches,outimg,
                Scalar::all(-1),Scalar::all(-1),
                vector<char>(),DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS);
 
    //imshow("outimg",outimg);

3.特徵點匹配

    //3、特徵點匹配
    vector<Point2f>imagepoint1,imagepoint2;
    for (int i= 0 ;i < good_matches.size();i++)
    {
        //查詢特徵點可連線處                          變形
        imagepoint1.push_back(key1[good_matches[i].trainIdx].pt);
        //查詢特徵點可連線處                          查詢基準線
        imagepoint2.push_back(key2[good_matches[i].queryIdx].pt);
    }

4.透視轉換影象融合

    //4、透視轉換 圖形融合
    Mat homo = findHomography(imagepoint1,imagepoint2,CV_RANSAC);
    //imshow("homo",homo);
 
    //根據透視轉換矩陣進行計算 四個座標
    CalcCorners(homo,right);
 
    //接收透視轉換結果
    Mat imageTransForm;
    //透視轉換
    warpPerspective(right,imageTransForm,homo,
                    Size(MAX(corners.right_top.x,corners.right_bottom.x),left.rows));
 
    //右圖透視變換 由於本次圖片材料是自己截圖拼接的 因此看不出透視變換的明顯特徵
    //imshow("imageTransForm",imageTransForm);
 
    //結果進行整合
    int dst_width = imageTransForm.cols;
    int dst_height = left.rows;
 
    Mat dst(dst_height,dst_width,CV_8UC3);
    dst.setTo(0);
 
    imageTransForm.copyTo(dst(Rect(0,0,imageTransForm.cols,imageTransForm.rows)));
    left.copyTo(dst(Rect(0,0,left.cols,left.rows)));

右圖的透視轉換，由於影象材料是自己截圖拼接的，因此看不出透視變換的明顯特徵，但根據上圖可知已經做出透視變換影象處理操作

左圖與右圖的透視轉換結果拼接【這裡只是將視窗移動測試看下前面步驟是否正確】

可以看出左圖與右圖的透視轉換結果是可以進行接下來的影象融合操作的

5.優化影象進行最終的結果展示

    //5、優化影象
    OptimizeSeam(left,imageTransForm,dst);
 
    //最終影象拼接結果
    imshow("dst",dst);

可以看出順利完成兩張影象拼接的影象處理操作

三、程式碼實現

#include <iostream>
#include <opencv2/opencv.hpp>
#include <opencv2/highgui.hpp>//影象融合
#include <opencv2/xfeatures2d.hpp>//拼接演演算法
#include <opencv2/calib3d.hpp>
#include <opencv2/imgproc.hpp>
 
using namespace std;
using namespace cv;
using namespace cv::xfeatures2d;
 
typedef struct
{
    Point2f left_top;
    Point2f left_bottom;
    Point2f right_top;
    Point2f right_bottom;
}four_corners_t;
 
four_corners_t corners;
 
void CalcCorners(const Mat& H, const Mat& src)
{
    double v2[] = { 0, 0, 1 };//左上角
    double v1[3];//變換後的座標值
    Mat V2 = Mat(3, 1, CV_64FC1, v2);  //列向量
    Mat V1 = Mat(3, 1, CV_64FC1, v1);  //列向量
 
    V1 = H * V2;
    //左上角(0,0,1)
    cout << "V2: " << V2 << endl;
    cout << "V1: " << V1 << endl;
    corners.left_top.x = v1[0] / v1[2];
    corners.left_top.y = v1[1] / v1[2];
 
    //左下角(0,src.rows,1)
    v2[0] = 0;
    v2[1] = src.rows;
    v2[2] = 1;
    V2 = Mat(3, 1, CV_64FC1, v2);  //列向量
    V1 = Mat(3, 1, CV_64FC1, v1);  //列向量
    V1 = H * V2;
    corners.left_bottom.x = v1[0] / v1[2];
    corners.left_bottom.y = v1[1] / v1[2];
 
    //右上角(src.cols,0,1)
    v2[0] = src.cols;
    v2[1] = 0;
    v2[2] = 1;
    V2 = Mat(3, 1, CV_64FC1, v2);  //列向量
    V1 = Mat(3, 1, CV_64FC1, v1);  //列向量
    V1 = H * V2;
    corners.right_top.x = v1[0] / v1[2];
    corners.right_top.y = v1[1] / v1[2];
 
    //右下角(src.cols,src.rows,1)
    v2[0] = src.cols;
    v2[1] = src.rows;
    v2[2] = 1;
    V2 = Mat(3, 1, CV_64FC1, v2);  //列向量
    V1 = Mat(3, 1, CV_64FC1, v1);  //列向量
    V1 = H * V2;
    corners.right_bottom.x = v1[0] / v1[2];
    corners.right_bottom.y = v1[1] / v1[2];
 
}
 
//影象融合的去裂縫處理操作
void OptimizeSeam(Mat& img1, Mat& trans, Mat& dst)
{
    int start = MIN(corners.left_top.x, corners.left_bottom.x);//開始位置，即重疊區域的左邊界
 
    double processWidth = img1.cols - start;//重疊區域的寬度
    int rows = dst.rows;
    int cols = img1.cols; //注意，是列數*通道數
    double alpha = 1;//img1中畫素的權重
    for (int i = 0; i < rows; i++)
    {
        uchar* p = img1.ptr<uchar>(i);  //獲取第i行的首地址
        uchar* t = trans.ptr<uchar>(i);
        uchar* d = dst.ptr<uchar>(i);
        for (int j = start; j < cols; j++)
        {
            //如果遇到影象trans中無畫素的黑點，則完全拷貝img1中的資料
            if (t[j * 3] == 0 && t[j * 3 + 1] == 0 && t[j * 3 + 2] == 0)
            {
                alpha = 1;
            }
            else
            {
                //img1中畫素的權重，與當前處理點距重疊區域左邊界的距離成正比，實驗證明，這種方法確實好
                alpha = (processWidth - (j - start)) / processWidth;
            }
 
            d[j * 3] = p[j * 3] * alpha + t[j * 3] * (1 - alpha);
            d[j * 3 + 1] = p[j * 3 + 1] * alpha + t[j * 3 + 1] * (1 - alpha);
            d[j * 3 + 2] = p[j * 3 + 2] * alpha + t[j * 3 + 2] * (1 - alpha);
 
        }
    }
}
 
int main()
{
    //左圖
    Mat left = imread("D:/00000000000003jieduanshipincailliao/a1.png");
    //右圖
    Mat right = imread("D:/00000000000003jieduanshipincailliao/a2.png");
 
    //左右圖顯示
    imshow("left",left);
    imshow("right",right);
 
    //建立SURF物件
    Ptr<SURF> surf;
    //create 函數引數 海森矩陣閥值 800特徵點以內
    surf = SURF::create(800);
 
    //建立一個暴力匹配器 用於特徵點匹配
    BFMatcher matcher;
 
    //特徵點容器 存放特徵點KeyPoint
    vector<KeyPoint>key1,key2;
    //儲存特徵點
    Mat c,d;
 
    //1、選擇特徵點
    //左圖 右圖 識別特徵點 是Mat物件 用c d儲存
    surf->detectAndCompute(left,Mat(),key2,d);
    surf->detectAndCompute(right,Mat(),key1,c);
 
    //特徵點對比，儲存   特徵點為中心點區域比對
    vector<DMatch> matches;
    matcher.match(d,c,matches);
 
    //排序從小到大 找到特徵點連線
    sort(matches.begin(),matches.end());
 
    //2、儲存最優的特徵點物件
    vector<DMatch>good_matches;
    int ptrpoint = std::min(50,(int)(matches.size()*0.15));
    for (int i = 0;i < ptrpoint;i++)
    {
        good_matches.push_back(matches[i]);
    }
 
    //2-1、畫線 最優的特徵點物件連線
    Mat outimg;
    drawMatches(left,key2,right,key1,good_matches,outimg,
                Scalar::all(-1),Scalar::all(-1),
                vector<char>(),DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS);
 
    //imshow("outimg",outimg);
 
    //3、特徵點匹配
    vector<Point2f>imagepoint1,imagepoint2;
    for (int i= 0 ;i < good_matches.size();i++)
    {
        //查詢特徵點可連線處                          變形
        imagepoint1.push_back(key1[good_matches[i].trainIdx].pt);
        //查詢特徵點可連線處                          查詢基準線
        imagepoint2.push_back(key2[good_matches[i].queryIdx].pt);
    }
 
    //4、透視轉換 圖形融合
    Mat homo = findHomography(imagepoint1,imagepoint2,CV_RANSAC);
    //imshow("homo",homo);
 
    //根據透視轉換矩陣進行計算 四個座標
    CalcCorners(homo,right);
 
    //接收透視轉換結果
    Mat imageTransForm;
    //透視轉換
    warpPerspective(right,imageTransForm,homo,
                    Size(MAX(corners.right_top.x,corners.right_bottom.x),left.rows));
 
    //右圖透視變換 由於本次圖片材料是自己截圖拼接的 因此看不出透視變換的明顯特徵
    //imshow("imageTransForm",imageTransForm);
 
    //結果進行整合
    int dst_width = imageTransForm.cols;
    int dst_height = left.rows;
 
    Mat dst(dst_height,dst_width,CV_8UC3);
    dst.setTo(0);
 
    imageTransForm.copyTo(dst(Rect(0,0,imageTransForm.cols,imageTransForm.rows)));
    left.copyTo(dst(Rect(0,0,left.cols,left.rows)));
 
    //5、優化影象
    OptimizeSeam(left,imageTransForm,dst);
 
    //最終影象拼接結果
    imshow("dst",dst);
 
    waitKey(0);
 
    return 0;
}

到此這篇關於OpenCV影象處理之影象拼接詳解的文章就介紹到這了,更多相關OpenCV影象拼接內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！

OpenCV影象處理之影象拼接詳解

目錄

影象拼接技術

一、需求分析

二、具體步驟

三、程式碼實現

熱門文章