计算机视觉 人工智能 c#-OpenCvSharp-棋盘格相机标定与图像矫正（源码demo）

目录

前言

核心函数：

Cv2.FindChessboardCorners：检测角点

Cv2.DrawChessboardCorners：绘制角点

Cv2.CalibrateCamera：相机标定

 结果：

demo:

前言

相机标定是指确定相机内参和畸变参数的过程，而图像矫正则是对图像进行去畸变操作，以提高图像质量和准确性。

相机标定是的目标是确定相机的内部参数，如焦距、主点坐标，以及外部参数，如旋转和平移矩阵。通过在已知场景中拍摄棋盘格等结构物体，利用图像中的特征点，可以利用相机标定技术得到相机的准确内外参数，从而提高图像处理的精度和可靠性。

图像矫正是在相机标定的基础上进行的。由于相机透镜的制造和安装等原因，图像中的畸变是不可避免的。这种畸变表现为图像中直线弯曲、角点失真等现象。图像矫正通过对图像进行几何变换，消除或减小这些畸变，使图像更符合几何规律，有助于提高后续图像处理的准确性和稳定性。

核心函数：

Cv2.FindChessboardCorners：检测角点

bool FindChessboardCorners(

Mat image,

Size patternSize,

out Point2f[] corners,

ChessboardFlags flags =

ChessboardFlags.AdaptiveThresh | ChessboardFlags.NormalizeImage);

image: 输入图像，应该是灰度图像。 patternSize: 棋盘格内角点的数量，Size 对象，例如 new Size(columns, rows)。 corners: 输出参数，用于存储检测到的内角点的数组。 flags: 一些标志位，用于指定棋盘格检测的一些参数。在这里，AdaptiveThresh 表示使用自适应阈值，NormalizeImage 表示对图像进行归一化处理。你可以根据需要进行调整。

Cv2.DrawChessboardCorners：绘制角点

Cv2.DrawChessboardCorners(Mat image, Size patternSize,

Mat corners, bool patternWasFound);

Mat image： 输入图像，是一个 Mat 对象。 Size patternSize： 棋盘格的尺寸，用于指定棋盘格上的行数和列数。 Mat corners： 包含棋盘格角点的 Mat 对象。这通常是通过 Cv2.FindChessboardCorners 检测到的角点。 bool patternWasFound： 一个标志，指示是否成功检测到整个棋盘格。如果检测成功，就传递 true；否则，传递 false。

Cv2.CalibrateCamera：相机标定

double Cv2.CalibrateCamera(

Mat[] objectPoints,

Mat[] imagePoints,

Size imageSize,

Mat cameraMatrix,

Mat distCoeffs,

out Mat[] rvecs,

out Mat[] tvecs,

CalibrationFlags flags = CalibrationFlags.ZeroTangentDist | CalibrationFlags.FixK3,

TermCriteria criteria = null );

objectPoints: 世界坐标系中的三维点，这些点对应于棋盘格的内角点。这是一个 Mat[] 数组，每个元素都包含一个图像的三维点坐标。 imagePoints: 图像上对应于 objectPoints 的二维点。这是一个 Mat[] 数组，每个元素都包含一个图像的二维点坐标。 imageSize: 输入图像的大小。 cameraMatrix: 输出参数，相机内参矩阵。 distCoeffs: 输出参数，畸变系数。 rvecs: 输出参数，旋转向量的数组。 tvecs: 输出参数，平移向量的数组。 flags: 标志位，用于指定标定的一些参数，例如是否考虑切向畸变等。 criteria: 标定终止的准则，它是一个 TermCriteria 类型的对象，用于指定算法的终止条件，例如最大迭代次数。

该方法返回标定的均方根误差（RMS误差），是所有图像中重投影误差的平均值的平方根。

Cv2.GetOptimalNewCameraMaxtrix() :获取最佳新相机矩阵

public static Mat GetOptimalNewCameraMatrix(

Mat cameraMatrix, Mat distCoeffs,

Size imageSize, double alpha,

Size newImgSize, out Rect validPixROI)

cameraMatrix: 输入的相机内参矩阵。distCoeffs: 输入的相机畸变系数。imageSize: 输入图像的尺寸。alpha: 缩放因子，控制校正图像中有效像素的范围。如果 alpha 是负数，将会保留所有有效像素，如果是正数，会裁剪掉无效像素，同时保留尽可能多的有效像素。newImgSize: 新图像的尺寸，可以保持原始图像尺寸或者根据需要调整。validPixROI: 输出参数，表示畸变校正后图像中的有效像素区域。 这个方法的返回值是新的相机矩阵 Mat

源码（注释详细）：

using OpenCvSharp;

using System;

using System.Collections.Generic;

namespace 相机棋盘格矫正

{

class Program

{

// 定义静态变量，用于设置棋盘格的宽度和高度

private static int BoardSize_Width = 9;

private static int BoardSize_Height = 6;

private static Size BoardSize = new Size(BoardSize_Width, BoardSize_Height);

// 定义静态变量，用于设置每个方格的宽度

private static int SquareSize = 50;

private static int winSize = 11;

static void Main(string[] args)

{

// 运行标定相机的逻辑

Run();

}

// 标定相机的主要逻辑

private static void Run()

{

// 存储图像文件路径

List imagesList = new List() {

@"C:\Users\CGW\Desktop\OpenCvSharp棋盘格标定\CvCalibrate\bin\Debug\ChessBoard1\left01.jpg",

// @"C:\Users\CGW\Desktop\OpenCvSharp棋盘格标定\CvCalibrate\bin\Debug\ChessBoard1\left02.jpg",

// @"C:\Users\CGW\Desktop\OpenCvSharp棋盘格标定\CvCalibrate\bin\Debug\ChessBoard1\left03.jpg",

// @"C:\Users\CGW\Desktop\OpenCvSharp棋盘格标定\CvCalibrate\bin\Debug\ChessBoard1\left04.jpg",

// @"C:\Users\CGW\Desktop\OpenCvSharp棋盘格标定\CvCalibrate\bin\Debug\ChessBoard1\left05.jpg"

};

// 存储每个图像的棋盘角点

List imagesPoints = new List();

// 相机内参矩阵和畸变系数

Mat cameraMatrix = new Mat(), distCoeffs = new Mat();

// 图像的尺寸

Size imageSize = new Size();

bool found = false;

// 存储角点坐标的 Mat 数组

Mat[] imagesPointsM = new Mat[imagesList.Count];

// 遍历图像列表

foreach (var imagePath in imagesList)

{

// 读取图像

Mat view = new Mat(imagePath);

if (!view.Empty())

{

imageSize = view.Size();

Point2f[] pointBuf;

// 查找棋盘角点

found = Cv2.FindChessboardCorners(view, BoardSize, out pointBuf, ChessboardFlags.AdaptiveThresh | ChessboardFlags.NormalizeImage);

if (found)

{

// 灰度化

Mat viewGray = new Mat();

Cv2.CvtColor(view, viewGray, ColorConversionCodes.BGR2GRAY);

// 亚像素精确化

Cv2.CornerSubPix(viewGray, pointBuf, new Size(winSize, winSize), new Size(-1, -1), new TermCriteria(CriteriaTypes.Eps | CriteriaTypes.Count, 30, 0.0001));

// 存储角点坐标

imagesPoints.Add(pointBuf);

Mat p = Mat.FromArray(pointBuf);

imagesPointsM[imagesList.IndexOf(imagePath)] = p;

// 在图像上绘制角点

Cv2.DrawChessboardCorners(view, BoardSize, pointBuf, found);

Mat temp = view.Clone();

Cv2.ImShow("Image View", view);

Cv2.WaitKey(500);

}

}

}

Mat[] rvecs = new Mat[0];

Mat[] tvecs = new Mat[0];

// 运行相机标定

RunCalibration(imagesList.Count, imageSize, out cameraMatrix, out distCoeffs, imagesPointsM, out rvecs, out tvecs, out double totalAvgErr);

// 打印相机矩阵、畸变系数和平均误差

Console.WriteLine("相机矩阵：\n{0}", Cv2.Format(cameraMatrix)+"\n");

Console.WriteLine("畸变系数:\n{0}", Cv2.Format(distCoeffs) + "\n");

Console.WriteLine("平均误差:\n{0}", totalAvgErr + "\n");

// 畸变校正

Mat map1 = new Mat();

Mat map2 = new Mat();

Mat newCameraMatrix = Cv2.GetOptimalNewCameraMatrix(cameraMatrix, distCoeffs, imageSize, 1, imageSize, out Rect roi);

Cv2.InitUndistortRectifyMap(cameraMatrix, distCoeffs, new Mat(), newCameraMatrix, imageSize, MatType.CV_16SC2, map1, map2);

// 遍历图像并显示校正后的图像

foreach (var imagePath in imagesList)

{

Mat view = Cv2.ImRead(imagePath, ImreadModes.Color);

Mat rview = new Mat();

if (view.Empty())

continue;

// 校正

Cv2.Remap(view, rview, map1, map2, InterpolationFlags.Linear);

Cv2.ImShow("Image RView", rview);

Cv2.WaitKey(500);

}

Cv2.WaitKey();

}

// 运行相机标定

private static void RunCalibration(int imagesCount, Size imageSize, out Mat cameraMatrix, out Mat distCoeffs, Mat[] imagePoints, out Mat[] rvecs, out Mat[] tvecs, out double totalAvgErr)

{

// 初始化相机矩阵和畸变系数

cameraMatrix = Mat.Eye(new Size(3, 3), MatType.CV_64F);

distCoeffs = Mat.Zeros(new Size(8, 1), MatType.CV_64F);

// 计算棋盘角点的世界坐标

Mat[] objectPoints = CalcBoardCornerPositions(BoardSize, SquareSize, imagesCount);

// 进行相机标定

double rms = Cv2.CalibrateCamera(objectPoints, imagePoints, imageSize, cameraMatrix, distCoeffs, out rvecs, out tvecs, CalibrationFlags.None);

// 检查相机矩阵和畸变系数的范围

bool ok = Cv2.CheckRange(InputArray.Create(cameraMatrix)) && Cv2.CheckRange(InputArray.Create(distCoeffs));

// 计算重投影误差

totalAvgErr = ComputeReprojectionErrors(objectPoints, imagePoints, rvecs, tvecs, cameraMatrix, distCoeffs);

}

// 计算棋盘角点的世界坐标

private static Mat[] CalcBoardCornerPositions(Size BoardSize, float SquareSize, int imagesCount)

{

Mat[] corners = new Mat[imagesCount];

// 遍历每张图片

for (int k = 0; k < imagesCount; k++)

{

Point3f[] p = new Point3f[BoardSize.Height * BoardSize.Width];

for (int i = 0; i < BoardSize.Height; i++)

{

for (int j = 0; j < BoardSize.Width; j++)

{

// 计算每个格子的三维坐标并储存在一维数组 p 中

p[i * BoardSize.Width + j] = new Point3f(j * SquareSize, i * SquareSize, 0);

}

}

// 将三维坐标转换成 Mat 类型并存储再 corners 数组中

corners[k] = Mat.FromArray(p);

}

return corners;

}

// 计算重投影误差

private static double ComputeReprojectionErrors(Mat[] objectPoints, Mat[] imagePoints, Mat[] rvecs, Mat[] tvecs, Mat cameraMatrix, Mat distCoeffs)

{

Mat imagePoints2 = new Mat();

int totalPoints = 0;

double totalErr = 0, err;

for (int i = 0; i < objectPoints.Length; ++i)

{

Cv2.ProjectPoints(objectPoints[i], rvecs[i], tvecs[i], cameraMatrix, distCoeffs, imagePoints2);

err = Cv2.Norm(imagePoints[i], imagePoints2, NormTypes.L2);

int n = objectPoints[i].Width * objectPoints[i].Height;

totalErr += err * err;

totalPoints += n;

}

return Math.Sqrt(totalErr / totalPoints);

}

}

}

 结果：

demo:

棋盘格标定demo  

提取码：axjq

当项目只包含代码文件而没有解决方案文件时，可以手动创建一个解决方案，并将项目添加到解决方案中：

创建解决方案文件：

打开 Visual Studio。点击 Visual Studio 的“文件”（File）菜单。选择“新建”（New）-> “项目”（Project）。在项目类型中，选择“其他项目类型” -> “Visual Studio 解决方案” -> “空白解决方案”。输入解决方案的名称，选择保存的位置，然后点击“确定”按钮。 将项目添加到解决方案中：

在解决方案资源管理器中（一般在 Visual Studio 左侧），右键单击解决方案，选择“添加” -> “现有项目”。在弹出的对话框中，浏览到你的项目所在的文件夹，选择项目文件（一般是 .csproj 文件），然后点击“添加”。 设置启动项目（可选）：

如果你的项目是一个控制台应用或者类库，你可以设置启动项目。右键单击解决方案中的一个项目，选择“设为启动项目”。 构建和运行：

构建解决方案：点击 Visual Studio 的“生成”（Build）菜单，选择“生成解决方案”。运行项目：按下 F5 键或者点击工具栏上的“开始调试”按钮。

文章链接