工业相机为了传输效率和数据的真实性，很多都是用Raw格式，比如从某宝购买的这台JHEM203GC的相机，就只支持Bayer RG8， Bayer RG10数据。
1 Bayer图像
Bayer图像是彩色Bayer传感器产生的图像数据， 这种传感器每个像素只记录了红，绿，蓝一个分量的数据，如下图所示，按照排列方式分为RGGB，BGGR, GRBG, GBRG四种排列。
对相机返回的这种Bayer数据，如果需要显示为正常的彩色图像，需要将每个像素丢失的信息插补回来，一般是利用相邻和附近的像素信息进行插值，有许多不同的算法得到的效果也不尽相同。
2 图像转RGB或者BGR
如调用MVS SDK，可以通过MV_CC_ConvertPixelType实现，代码如下，转换的格式通常为PixelType_Gvsp_BGR8_Packed，就是BGR排列，如果是RGB排列，使用PixelType_Gvsp_RGB8_Packed，这种格式保存为图片或者显示时可能会出现红蓝对调的情况。
int Bayer2BGR(void *handle, unsigned char* pData, MV_FRAME_OUT_INFO_EX* pstImageInfo, unsigned char **pBgrData)
{
*pBgrData = 0;
if (NULL == pData)
{
return MV_E_PARAMETER;
}
unsigned int nDataSizeForBGR = pstImageInfo->nWidth * pstImageInfo->nHeight * 3;
unsigned char* pDataForBGR = (unsigned char*)malloc(nDataSizeForBGR);
if (NULL == pDataForBGR)
{
return MV_E_BUFOVER;
}
// ch:像素格式转换 | en:Convert pixel format
MV_CC_PIXEL_CONVERT_PARAM stConvertParam = { 0 };
memset(&stConvertParam, 0, sizeof(MV_CC_PIXEL_CONVERT_PARAM));
stConvertParam.nWidth = pstImageInfo->nWidth; //ch:图像宽 | en:image width
stConvertParam.nHeight = pstImageInfo->nHeight; //ch:图像高 | en:image height
stConvertParam.pSrcData = pData; //ch:输入数据缓存 | en:input data buffer
stConvertParam.nSrcDataLen = pstImageInfo->nFrameLen; //ch:输入数据大小 | en:input data size
stConvertParam.enSrcPixelType = pstImageInfo->enPixelType; //ch:输入像素格式 | en:input pixel format
stConvertParam.enDstPixelType = PixelType_Gvsp_BGR8_Packed; //ch:输出像素格式 | en:output pixel format
stConvertParam.pDstBuffer = pDataForBGR; //ch:输出数据缓存 | en:output data buffer
stConvertParam.nDstBufferSize = nDataSizeForBGR; //ch:输出缓存大小 | en:output buffer size
int nRet = MV_CC_ConvertPixelType(handle, &stConvertParam);
if (MV_OK != nRet)
{
free(pDataForBGR);
return MV_E_UNKNOW;
}
*pBgrData = pDataForBGR;
return MV_OK;
}
3 将buffer转成Mat格式
采集的图像为直接数组，需要转换成Mat格式来调用OpenCV做进一步的处理。
// convert data stream in Mat format
bool Convert2Mat(void* handle, MV_FRAME_OUT_INFO_EX* pstImageInfo, unsigned char **pData)
{
cv::Mat srcImage;
if ( pstImageInfo->enPixelType == PixelType_Gvsp_Mono8 )
{
srcImage = cv::Mat(pstImageInfo->nHeight, pstImageInfo->nWidth, CV_8UC1, *pData);
}
else if ( pstImageInfo->enPixelType == PixelType_Gvsp_RGB8_Packed )
{
RGB2BGR(*pData, pstImageInfo->nWidth, pstImageInfo->nHeight);
srcImage = cv::Mat(pstImageInfo->nHeight, pstImageInfo->nWidth, CV_8UC3, *pData);
}
else
{
unsigned char *pBgrData = 0;
Bayer2BGR(handle, *pData, pstImageInfo, &pBgrData);
if (pBgrData)
{
srcImage = cv::Mat(pstImageInfo->nHeight, pstImageInfo->nWidth, CV_8UC3, pBgrData);
free(*pData);
*pData = pBgrData;
}
}
if ( NULL == srcImage.data )
{
return false;
}
#ifdef SAVE
//save converted image in a local file
try {
#if defined (VC9_COMPILE)
cvSaveImage("MatImage.bmp", &(IplImage(srcImage)));
#else
cv::imwrite("MatImage.bmp", srcImage);
#endif
}
catch (cv::Exception& ex) {
fprintf(stderr, "Exception saving image to bmp format: %s\n", ex.what());
}
#endif
//show converted image
try {
#if !defined (VC9_COMPILE)
cvShowImage("CAM", &(IplImage(srcImage)));
cvWaitKey(20);
#else
cv::imshow("CAM", srcImage);
cv::waitKey(20);
#endif
}
catch (cv::Exception& ex) {
fprintf(stderr, "Exception saving image to bmp format: %s\n", ex.what());
}
srcImage.release();
return true;
}
4 cvtColor一步转换
使用相机SDK的好处是集成简单，但对于本身需要使用Opencv的工程来说也可以直接使用Opencv的cvtColor， 按照原有的bayer格式选择参数，即可一步把RAW图像转为RGB图像。
cv::Mat bayerImg = cv::Mat(stImageInfo.nHeight, stImageInfo.nWidth, CV_8UC1, pData);
cv::Mat bgrImg;
if(stImageInfo.enPixelType == PixelType_Gvsp_BayerBG8) cv::cvtColor(bayerImg, bgrImg, cv::COLOR_BayerBG2RGB);
else if(stImageInfo.enPixelType == PixelType_Gvsp_BayerRG8) cv::cvtColor(bayerImg, bgrImg, cv::COLOR_BayerRG2RGB);
else if (stImageInfo.enPixelType == PixelType_Gvsp_BayerGB8) cv::cvtColor(bayerImg, bgrImg, cv::COLOR_BayerGB2RGB);
else if (stImageInfo.enPixelType == PixelType_Gvsp_BayerGR8) cv::cvtColor(bayerImg, bgrImg, cv::COLOR_BayerGR2RGB);
cv::imshow("CAM", bgrImg);
cv::waitKey(20);
5 结果和参考代码
RAW图像，看上去是黑白的实际上是马赛克图像
转换后的RGB图像
参考代码：https://www.jinghangtech.com/media/ug/UG007_OpenCV.zip
参考阅读
发表评论