C++ OpenCV實戰之零部件的自動光學檢測

2022-09-14 22:06:47

一、背景

首先任務背景是AOI（自動光學檢測）

最重要的目的在於：將前景和物體進行分割與分類；

場景示意圖：

需要注意，在螺母的傳送帶上，需要有前光和背光，給物體打光才能夠拍攝清晰的影象；

二、基礎知識

首先分為以下幾步：

1、噪聲抑制（預處理）

2、背景移除（分割）

3、二值化

4、連通域、輪廓查詢演演算法

降噪演演算法

先使用中值濾波對椒鹽噪聲進行過濾，再使用高斯濾波對物體邊緣進行模糊；

背景移除

首先有兩種方案可以實現背景移除，也就是減法和除法；

連通圖檢測計數

首先連通域型別分為4路連通和8路連通：

使用連通圖檢測演演算法，可以將不連通的每個物體都用不同顏色劃分出來；

三、程式碼實現

1、實現多視窗展示

如果想要多張影象展示在一個視窗中，也就是實現拼接圖片的操作，使用Python程式碼實現起來可能比較便捷，C++程式碼需要定義一個類，並且實際編寫也比較繁瑣；

class Display {
private:
	int cols, rows, width, height;
	String title;
	vector<String> win_names;
	vector<Mat> images;
	Mat canvas;
public:
	Display(String t, int c, int r, int flags) :title(t), cols(c), rows(r) {
		height = 1080;
		width = 1920;
		namedWindow(title, flags);
		canvas = Mat(height, width, CV_8UC3);
		imshow(title, canvas);
	}

	int add_window(String win_name, Mat image, bool flag = true) {
		win_names.push_back(win_name);
		images.push_back(image);
		if (flag) {
			draw();
		}
		return win_names.size();
	}
	
    // 實現刪除視窗
	int delete_window(String win_name) {
		int index = 0;
		for (const auto& it : win_names) {
			if (it == win_name) break;
			index++;
		}
		win_names.erase(win_names.begin() + index);
		images.erase(images.begin() + index);

		return win_names.size();
	}

	void draw() {
		canvas.setTo(Scalar(20, 20, 20));
		int single_width = width / cols;
		int single_height = height / rows;
		int max_win = win_names.size() > cols * rows ? cols * rows : win_names.size();
		
		int i = 0;
		auto iw = win_names.begin();
		for (auto it = images.begin(); it != images.end()&&i<max_win; it++,i++,iw++) {
			String win_name = *iw;
			Mat img = *it;

			int x = (single_width) * (i % cols);
			int y = (single_height)*floor(i * 1.0 / cols);
			Rect mask(x, y, single_width, single_height);

			rectangle(canvas, mask, Scalar(255, 255, 255), 9);

			Mat resized_img;
			resize(img, resized_img, Size(single_width, single_height));

			Mat sub_canvas(canvas, mask);
			if (resized_img.channels() == 1) {
				cvtColor(resized_img, resized_img, COLOR_GRAY2BGR);
			}
			resized_img.copyTo(sub_canvas);
            putText(sub_canvas, win_name, Point(50, 50), FONT_HERSHEY_COMPLEX, 2, Scalar(0, 0, 255), 3, LINE_AA);
		}
		imshow(title, canvas);
	}
};

// 使用智慧指標
shared_ptr<Display> multi_window;

int main(int argc, char** argv)
{

	// 實現多視窗
	String total_path = "imgpath";
	String background_path = "imgpath";

	Mat abc = imread(total_path, 0);

	multi_window = make_shared<Display>("Review for all", 3, 2, WINDOW_NORMAL);
	multi_window->add_window("ABC", abc);
	multi_window->add_window("ABCC", abc);
    multi_window->delete_window("ABC");		// 也支援刪除視窗
	multi_window->draw();

	waitKey(0);
	return 0;
}

2、降噪處理

採用中值濾波+高斯濾波結合的降噪方法：

Mat get_background(const Mat& bg){
    Mat img;
    medianBlur(bg,img,3);
    GaussianBlur(bg,img,Size(3,3),0);
    return img;
}

Mat smoothen_img(const Mat& noise_img){
    Mat img;
    medianBlur(noise_img,img,5);
    GaussianBlur(img,img,Size(3,3),0);
    return img;
}

3、背景去除

分為兩種方式，一種為減法，一種為除法；

Mat remove_background_divide(Mat image, Mat background) {
	Mat tmp;
	Mat fg, bg;
	image.convertTo(fg, CV_32F);
	background.convertTo(bg, CV_32F);
	tmp = 1 - (fg / bg);
	tmp.convertTo(tmp, CV_8U, 255);
	return tmp;
}

Mat remove_background_minus(Mat image, Mat background) {
	return background - image;
}

從結果圖上看，使用除法的方式能更好的保留白色部分的資訊，因此選用除法的方式；

4、連通圖實現

對二值化後的影象進行連通域劃分，並且用隨機顏色繪製到Mask圖上；

void connection_check(Mat image) {
	Mat labels;
	int num = connectedComponents(image, labels);
	if (num <= 1) {
		cout << "No stuff detect!!" << endl;
		return;
	}
	else
	{
		cout << num << " objects detected!!" << endl;
	}

	Mat display = Mat::zeros(image.rows, image.cols, CV_8UC3);
	for (int i = 1; i < num; i++) {
		Mat mask = (labels == i);
		display.setTo(random_color_generator(seed), mask);
	}
	multi_window->add_window("Segment", display);
}

5、計算連通域面積

OpenCV中也自帶了對面積區域的計算：

void connection_heavy_check(Mat image) {
    Mat labels, stats, centroids;
    int num =connectedComponentsWithStats(image, labels, stats, centroids);
    if (num <= 1) {
        cout << "No stuff detect!!" << endl;
        return;
    }
    else
    {
        cout << num << " objects detected!!" << endl;
    }
    Mat display = Mat::zeros(image.rows, image.cols, CV_8UC3);
    for (int i = 1; i < num; i++) {
        // 得到連通域的質心點
        Point2i pt(centroids.at<double>(i, 0), centroids.at<double>(i, 1));
        // 列印標籤和連通域座標和麵積
        cout << "Stuff #" << i << ", Position: " << pt << " ,Area: " << stats.at<int>(i, CC_STAT_AREA) << endl;
        Mat mask = (labels == i);
        display.setTo(random_color_generator(seed), mask);
        stringstream ss;
        ss << stats.at<int>(i, CC_STAT_AREA);
        putText(display, ss.str(), pt, FONT_HERSHEY_SIMPLEX, 0.5, Scalar(255, 255, 255), 2);
    }
    multi_window->add_window("Segment more", display);
}

6、輪廓檢測

實現對物體輪廓的檢測；

void get_contour(Mat image) {
    vector<vector<Point>> contours;
    findContours(image, contours, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);
    Mat display = Mat::zeros(image.rows, image.cols, CV_8UC3);
    if (contours.size() == 0) {
        cout << "No contour detect!!" << endl;
        return;
    }
    else
    {
        cout << contours.size() << " contour detected!!" << endl;
    }
    for (int i = 0; i < contours.size(); i++) {
        drawContours(display, contours, i, random_color_generator(seed), 2);
    }
    multi_window->add_window("CONTOURS", display);
}