针孔相机模型在《视觉SLAM十四讲》中有详细介绍，我在这里不打算再赘述，这里只介绍其中最关键的一张图：
图1 针孔相机模型相机在成像过程中涉及四种坐标系，分别是：世界坐标系、相机坐标系、归一化成像平面坐标系和像素坐标系。这其中的相机坐标系和归一化成像平面坐标系的XYZ三轴方向已经在图1中给出，相机坐标系的三轴方向是：
X、Y、Z三轴分别指向相机右侧、下侧和沿着光轴指向正前方尤其需要注意的是，ORB-SLAM2中的相机坐标也是按照图1给出的，相机校正过程中计算得到的内参矩阵也是在这一坐标系下得出的。
在SLAM领域，绝大部分情况下都是用的张正友标定法来做相机标定。“张正友标定”是指张正友教授1998年提出的单平面棋盘格的摄像机标定方法。文中提出的方法介于传统标定法和自标定法之间，但克服了传统标定法需要的高精度标定物的缺点，而仅需使用一个打印出来的棋盘格就可以。同时也相对于自标定而言，提高了精度，便于操作。因此张氏标定法被广泛应用于计算机视觉方面。
文章引用如下：
Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on pattern analysis and machine intelligence, 2000, 22.
网上有很多实现张正友标定法的公开代码，这里选用其中用C++实现的一种，实测可以使用。记录如下：
#include "opencv2/core/core.hpp" #include "opencv2/imgproc/imgproc.hpp" #include "opencv2/calib3d/calib3d.hpp" #include "opencv2/highgui/highgui.hpp" #include <iostream> #include <fstream> using namespace cv; using namespace std; void main() { ifstream fin("calibration_MI9_image.txt"); /* 标定所用图像文件的路径 */ ofstream fout("calibration_MI9_result.txt"); /* 保存标定结果的文件 */ //读取每一幅图像，从中提取出角点，然后对角点进行亚像素精确化 cout << "开始提取角点………………"<<endl; int image_count = 0; /* 图像数量 */ Size image_size; /* 图像的尺寸 */ Size board_size = Size(4, 6); /* 标定板上每行、列的角点数 */ // 注意！这里得参数因图像而异 vector<Point2f> image_points_buf; /* 缓存每幅图像上检测到的角点 */ vector<vector<Point2f>> image_points_seq; /* 保存检测到的所有角点 */ string filename; //int count = -1;//用于存储角点个数。 while (getline(fin, filename)) { image_count++; // 用于观察检验输出 cout << "image_count = " << image_count << ", and image_name = " << filename << endl; /* 输出检验*/ //cout << "-->count = " << count << endl; Mat imageInput = imread(filename); if (image_count == 1) //读入第一张图片时获取图像宽高信息 { image_size.width = imageInput.cols; image_size.height = imageInput.rows; cout << "image_size.width = " << image_size.width << endl; cout << "image_size.height = " << image_size.height << endl; } /* 提取角点 */ if (0 == findChessboardCorners(imageInput, board_size, image_points_buf)) { cout << "can not find chessboard corners!\n"; //找不到角点 exit(1); } else { Mat view_gray; cvtColor(imageInput, view_gray, CV_RGB2GRAY); /* 亚像素精确化 */ find4QuadCornerSubpix(view_gray, image_points_buf, Size(5, 5)); //对粗提取的角点进行精确化 image_points_seq.push_back(image_points_buf); //保存亚像素角点 /* 在图像上显示角点位置 */ drawChessboardCorners(view_gray, board_size, image_points_buf, true); //用于在图片中标记角点 imshow("Camera Calibration", view_gray);//显示图片 waitKey(500);//暂停0.5S } } int total = image_points_seq.size(); cout << "total = " << total << endl; int CornerNum = board_size.width*board_size.height; //每张图片上总的角点数 for (int ii = 0; ii<total; ii++) { if (0 == ii%CornerNum)// 24 是每幅图片的角点个数。此判断语句是为了输出 图片号，便于控制台观看 { int i = -1; i = ii / CornerNum; int j = i + 1; cout << "--> 第 " << j << "图片的数据 --> : " << endl; } if (0 == ii % 3) // 此判断语句，格式化输出，便于控制台查看 { cout << endl; } else { cout.width(10); } //输出所有的角点 cout << " -->" << image_points_seq[ii][0].x; cout << " -->" << image_points_seq[ii][0].y; } cout << "角点提取完成！\n"; //以下是摄像机标定 cout << "开始标定………………"; /*棋盘三维信息*/ Size square_size = Size(10, 10); /* 实际测量得到的标定板上每个棋盘格的大小 */ vector<vector<Point3f>> object_points; /* 保存标定板上角点的三维坐标 */ /*内外参数*/ Mat cameraMatrix = Mat(3, 3, CV_32FC1, Scalar::all(0)); /* 摄像机内参数矩阵 */ vector<int> point_counts; // 每幅图像中角点的数量 Mat distCoeffs = Mat(1, 5, CV_32FC1, Scalar::all(0)); /* 摄像机的5个畸变系数：k1,k2,p1,p2,k3 */ vector<Mat> tvecsMat; /* 每幅图像的旋转向量 */ vector<Mat> rvecsMat; /* 每幅图像的平移向量 */ /* 初始化标定板上角点的三维坐标 */ int i, j, t; for (t = 0; t<image_count; t++) { vector<Point3f> tempPointSet; for (i = 0; i<board_size.height; i++) { for (j = 0; j<board_size.width; j++) { Point3f realPoint; /* 假设标定板放在世界坐标系中z=0的平面上 */ realPoint.x = i*square_size.width; realPoint.y = j*square_size.height; realPoint.z = 0; tempPointSet.push_back(realPoint); } } object_points.push_back(tempPointSet); } /* 初始化每幅图像中的角点数量，假定每幅图像中都可以看到完整的标定板 */ for (i = 0; i<image_count; i++) { point_counts.push_back(board_size.width*board_size.height); } /* 开始标定 */ calibrateCamera(object_points, image_points_seq, image_size, cameraMatrix, distCoeffs, rvecsMat, tvecsMat, 0); cout << "标定完成！\n"; //对标定结果进行评价 cout << "开始评价标定结果………………\n"; double total_err = 0.0; /* 所有图像的平均误差的总和 */ double err = 0.0; /* 每幅图像的平均误差 */ vector<Point2f> image_points2; /* 保存重新计算得到的投影点 */ cout << "\t每幅图像的标定误差：\n"; fout << "每幅图像的标定误差：\n"; for (i = 0; i<image_count; i++) { vector<Point3f> tempPointSet = object_points[i]; /* 通过得到的摄像机内外参数，对空间的三维点进行重新投影计算，得到新的投影点 */ projectPoints(tempPointSet, rvecsMat[i], tvecsMat[i], cameraMatrix, distCoeffs, image_points2); /* 计算新的投影点和旧的投影点之间的误差*/ vector<Point2f> tempImagePoint = image_points_seq[i]; Mat tempImagePointMat = Mat(1, tempImagePoint.size(), CV_32FC2); Mat image_points2Mat = Mat(1, image_points2.size(), CV_32FC2); for (int j = 0; j < tempImagePoint.size(); j++) { image_points2Mat.at<Vec2f>(0, j) = Vec2f(image_points2[j].x, image_points2[j].y); tempImagePointMat.at<Vec2f>(0, j) = Vec2f(tempImagePoint[j].x, tempImagePoint[j].y); } err = norm(image_points2Mat, tempImagePointMat, NORM_L2); total_err += err /= point_counts[i]; std::cout << "第" << i + 1 << "幅图像的平均误差：" << err << "像素" << endl; fout << "第" << i + 1 << "幅图像的平均误差：" << err << "像素" << endl; } std::cout << "总体平均误差：" << total_err / image_count << "像素" << endl; fout << "总体平均误差：" << total_err / image_count << "像素" << endl << endl; std::cout << "评价完成！" << endl; //保存定标结果 std::cout << "开始保存定标结果………………" << endl; Mat rotation_matrix = Mat(3, 3, CV_32FC1, Scalar::all(0)); /* 保存每幅图像的旋转矩阵 */ fout << "相机内参数矩阵：" << endl; fout << cameraMatrix << endl << endl; fout << "畸变系数：\n"; fout << distCoeffs << endl << endl << endl; for (int i = 0; i<image_count; i++) { fout << "第" << i + 1 << "幅图像的旋转向量：" << endl; fout << tvecsMat[i] << endl; /* 将旋转向量转换为相对应的旋转矩阵 */ Rodrigues(tvecsMat[i], rotation_matrix); fout << "第" << i + 1 << "幅图像的旋转矩阵：" << endl; fout << rotation_matrix << endl; fout << "第" << i + 1 << "幅图像的平移向量：" << endl; fout << rvecsMat[i] << endl << endl; } std::cout << "完成保存" << endl; fout << endl; return; }注意，上述代码中一般来说有3处需要根据自己的情况修改：
1-main函数开头的一句话：
ifstream fin("calibration_MI9_image.txt"); /* 标定所用图像文件的路径 */<font>中的calibration_MI9_image.txt是将拍摄黑白格得到的图像名按行排列在一个txt文件中，该文件名以及文件的内容都需要根据自己的实际内容修改。
2-main函数开头的一句话：
ofstream fout("calibration_MI9_result.txt"); /* 保存标定结果的文件 */中的calibration_MI9_result.txt是相机校正的结果所存放在的一个txt文件中，该文件名需要根据自己的实际内容修改，文件内容由代码产生，无需用户处理。
3-main函数开头的一句话：
Size board_size = Size(4, 6); /* 标定板上每行、列的角点数 */ // 注意！这里得参数因图像而异其中的4和6分别是打印的黑白格点图中横竖角点的数目。例如在图2中，横竖角点的数目分别是4和6（只有两块黑色方格对角分布构成的才算角点），因此图2中一共有24个角点：
图2 黑白格点图中的角点由于选用的相机标定代码是C++写的，因此选择在Windows系统下配置VS2013和openCV。关于Windows系统下配置VS2013和openCV的资料和博客网上非常多，就不再赘述了，这里就只记录几点我在配环境时踩过的坑。
1-在往系统中添加环境变量时记得把64位和32位的都添加进去； 2-在VS软件中需要配置的地方有：(1)属性-VC++目录-包含目录，(2)属性-VC++目录-库目录，(3)属性-链接器-输入-附加依赖项； 3-保险起见，在配置“属性-链接器-输入-附加依赖项”时，最好不要把debug版本的lib和release版本的lib同时添加进去，因为在大多数情况下我们只会用到debug版本。即使要添加，也应该将所有的debug版本的lib和release版本的lib分开写，千万不能一个XXX.lib，一个XXXd.lib交替着写（根据我的经验，交替写会报出莫名其妙的错误）； 4-VS的版本和openCV中cv文件夹的版本是这样对应的：VS2010—vc10，VS2012—vc11，VS2013—vc12，不同的VS版本应该选用不同的vc文件夹； 5-其他……想起来再说。
首先，从不同角度拍摄黑白格点图，并依次命名，如图3所示：
图3 从不同角度拍摄黑白格点图并依次命名然后，将这些图片的名字集中到一个txt文件中，如图4所示：
图4 将这些图片的名字集中到一个txt文件中最后，就可以运行代码了。效果如图5和图6所示：
图5 对某一张拍摄图像的标记 图6 运行过程及结果命令行显示最终得到的结果可以在同路径下对应txt文件中查看，如图7所示：
图7 运行结果的txt文件部分内容从图7中可以看出，张正友标定法不仅可以得到相机的内参，包括内参矩阵和畸变系数，也就是图中红色方框标记出来的部分；还可以得到相机的外参，包括旋转矩阵和旋转向量，也就是图7中txt文件没有完全显示出来的下文。
最后，得到相机的内参后，将其带入SLAM的配置文件，就可以进行后续的工作了。
相机标定的过程虽然简单（事实上确实很简单，别人把代码都给出来了），但是我也是踩了不少坑（事实上我经常踩坑，就相机标定这个事儿也是别人5分钟我要弄上个两天才好）。因此在这里把遇到的一些坑和解决方案记录下来。
1-VS2013下配置openCV时，一定要注意在配置“属性-链接器-输入-附加依赖项”时，debug版本的lib和release版本的lib不能交叉添加； 2-黑白格数量不要太多，形成4*6个交叉点是比较合适的； 3-确保打印机墨盒存量足够，不要打出来的黑色格子不够黑；往板子上贴的之后要平整； 4-拍摄时务必注意不要在格纸上有反光； 5-拍摄角度要不同，但是也别过于倾斜，会造成算法识别不出来。
