加载中…
个人资料
dzh_漫漫修行路
dzh_漫漫修行路
  • 博客等级:
  • 博客积分:0
  • 博客访问:364,378
  • 关注人气:181
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
相关博文
推荐博文
谁看过这篇博文
加载中…
正文 字体大小:

示例程序045--视频输入和相似度测量

(2012-08-30 18:38:21)
标签:

通道

相似度

图像

算法

函数

分类: 02_OpenCv学习笔记

视频操作:

1.视频捕获需要的所有函数都集成在 VideoCapture C++ 类里面,定义一个 VideoCapture 类的对象来打开和读取视频流。具体可以通过 constructor 或者通过 open 函数来完成。

2. isOpened 函数来检查视频是否成功打开与否。

3.视频的每一帧都是一幅普通的图像。因为我们仅仅需要从 VideoCapture 对象里释放出每一帧图像并保存成 Mat 格式。因为视频流是连续的,所以你需要在每次调用 read 函数后及时保存图像或者直接使用重载的>>操作符。read函数只能逐帧的抓取,如果要抓取某一帧,可以成对的调用grab函数和retrieve函数。

4.get 函数返回一个double(8个字节)类型的数据来,表示视频的属性,如长度、宽度,帧数。

5.set 函数可以设定视频的值,比如:

    captRefrnc.set(CV_CAP_PROP_POS_MSEC, 1.2);  // 跳转到视频1.2秒的位置
    captRefrnc.set(CV_CAP_PROP_POS_FRAMES, 10); // 跳转到视频的第10帧

 

图像比较的两种方法PSNR and SSIM

1.PSNR( Peak signal-to-noise ratio)。

    这是个使用“局部均值误差”来判断差异的最简单的方法,假设有这两幅图像:I1和I2,它们的行列数分别是i,j,有c个通道。

MSE = \frac{1}{c*i*j} \sum{(I_1-I_2)^2}

    PSNR公式如下:

PSNR = 10 \cdot \log_{10} \left( \frac{MAX_I^2}{MSE} \right)

    考察压缩后的视频时,返回值PSNR大约在30到50之间,数字越大则表明压缩质量越好。如果图像差异很明显,就可能会得到15甚至更低的值。PSNR算法简单,检查的速度也很快。但是其呈现的差异值有时候和人的主观感受不成比例。

 

2.SSIM算法 structural similarity index

  一种衡量两幅图像相似度的新指标,其值越大越好,最大为1.

    在图像去噪处理中在图像相似度评价上全面超越SNR(signal to noise ratio)和PSNR(peak signal to noise ratio)。

    具体原理见 :

  Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli. Image quality assessment: From error visibility to structural similarity. IEEE Transaction on Image Processing, 2004, 13(4):600–612

 

详细代码及注释:


// 054 视频输入和相似度测量.cpp : 定义控制台应用程序的入口点。
//

#include "stdafx.h"

#include <iostream>

#include <string>  

#include <iomanip>  //

#include <sstream>  //

#include <opencv2/imgproc/imgproc.hpp>  //

#include <opencv2/core/core.hpp>        //

#include <opencv2/highgui/highgui.hpp>  //

 

using namespace std;
using namespace cv;

 

double getPSNR ( const Mat& I1, const Mat& I2);
Scalar getMSSIM( const Mat& I1, const Mat& I2);

 

int main(int argc, char *argv[], char *window_name)
{
 

    //设定PSNR算法的最小返回值为35
      int psnrTriggerValue=35;    int delay=10;    

   

        //用构造函数的方法打开第一个视频;
   VideoCapture captRefrnc("Megamind.avi"); 

 

   //用open函数打开第二个比较用的压缩后的视频
   VideoCapture captUndTst;
         captUndTst.open("Megamind_bugy.avi"); 

 

   //判断是否打开视频
    if ( !captRefrnc.isOpened()||!captUndTst.isOpened())
    {
        cout  << "Could not open reference " <<endl;
        return -1;
    }

 

   char c;                              //waitKey的返回值
   int frameNum = -1;          //帧数计数器

 

   //获取原视频的尺寸, get 函数返回一个double类型的数据
        Size refS = Size((int) captRefrnc.get(CV_CAP_PROP_FRAME_WIDTH),(int) captRefrnc.get(CV_CAP_PROP_FRAME_HEIGHT));


  //获取压缩后视频的尺寸
        Size uTSi = Size((int) captUndTst.get(CV_CAP_PROP_FRAME_WIDTH),(int) captUndTst.get(CV_CAP_PROP_FRAME_HEIGHT));

 

  //尺寸不相同则退出
    if (refS != uTSi)
    {
        cout << "Inputs have different size!!! Closing." << endl;
        return -1;
    }

 

    const char* WIN_UT = "Under Test";
    const char* WIN_RF = "Reference";

 

    // Windows
    namedWindow(WIN_RF, CV_WINDOW_AUTOSIZE );
    namedWindow(WIN_UT, CV_WINDOW_AUTOSIZE );
    cvMoveWindow(WIN_RF, 400                 0);      //750,  2 (bernat =0)
    cvMoveWindow(WIN_UT, refS.width,            0);      //1500, 2

 

 //输出视频的尺寸和总的帧数
    cout << "Reference frame resolution: Width=" << refS.width << "  Height=" << refS.height
        << " of nr#: " << captRefrnc.get(CV_CAP_PROP_FRAME_COUNT) << endl;

 

//输出PSNR的最小返回值

    cout << "PSNR trigger value " <<
        setiosflags(ios::fixed) << setprecision(3) << psnrTriggerValue << endl;

 

    Mat frameReference, frameUnderTest;
    double psnrV;
    Scalar mssimV;

    while( true) //Show the image captured in the window and repeat
    {


  //将VideoCapture 对象里释放出每一帧图像并保存成 Mat 格式
  //两种方法,一:重载操作符>>;二:read
        captRefrnc >> frameReference;
       captUndTst.read(frameUnderTest);
      //  captUndTst >> frameUnderTest;

 

        if( frameReference.empty()  || frameUnderTest.empty())
        {
            cout << " < < <  Game over!  > > > ";
            break;
        }

 

        ++frameNum;
        cout <<"Frame:" << frameNum <<"# ";

 

        ///////////////////////////////// PSNR ////////////////////////////////////////////////////
        psnrV = getPSNR(frameReference,frameUnderTest);                 //get PSNR
        cout << setiosflags(ios::fixed) << setprecision(3) << psnrV << "dB";

 

        //////////////////////////////////// MSSIM /////////////////////////////////////////////////
        if (psnrV < psnrTriggerValue && psnrV)   //PSNR算法计算出的结果低于输入值,调用SSIM算法
        {
            mssimV = getMSSIM(frameReference,frameUnderTest);

            cout << " MSSIM: "
                << " R " << setiosflags(ios::fixed) << setprecision(2) << mssimV.val[2] * 100 << "%"
                << " G " << setiosflags(ios::fixed) << setprecision(2) << mssimV.val[1] * 100 << "%"
                << " B " << setiosflags(ios::fixed) << setprecision(2) << mssimV.val[0] * 100 << "%";
        }

        cout << endl;

        ////////////////////////////////// Show Image /////////////////////////////////////////////
        imshow( WIN_RF, frameReference);
        imshow( WIN_UT, frameUnderTest);

 

        c = cvWaitKey(delay);
        if (c == 27) break;
    }

    return 0;
}

 

//PSNR( Peak signal-to-noise ratio)。使用“局部均值误差”来判断差异的最简单的方法
//考察压缩后的视频时,返回值值大约在30到50之间,数字越大则表明压缩质量越好
//PSNR算法简单,检查的速度也很快。但是其呈现的差异值有时候和人的主观感受不成比例。
double getPSNR(const Mat& I1, const Mat& I2)
{
    Mat s1;
    absdiff(I1, I2, s1);       // |I1 - I2|
    s1.convertTo(s1, CV_32F);  //不能在8位矩阵上做平方运算
    s1 = s1.mul(s1);           // s1*s1,即|I1 - I2|^2

 

    Scalar s = sum(s1);         // 分别叠加每个通道的元素,存于s中

    double sse = s.val[0] + s.val[1] + s.val[2]; // 叠加所有通道元素

 

    if( sse <= 1e-10) // for small values return zero
        return 0;
    else
    {
        double  mse =sse /(double)(I1.channels() * I1.total());
        double psnr = 10.0*log10((255*255)/mse);
        return psnr;
    }
}

 

//SSIM算法,structural similarity index  结构相似性 的算法
//针对图像的每个通道返回一个相似度,取值范围应该在0到1之间,取值为1时代表完全符合。
Scalar getMSSIM( const Mat& i1, const Mat& i2)
{
    const double C1 = 6.5025, C2 = 58.5225;
   
    int d     = CV_32F;

    Mat I1, I2;
    i1.convertTo(I1, d);           // 不能在单字节像素上进行计算,范围不够。
    i2.convertTo(I2, d);

    Mat I2_2   = I2.mul(I2);        // I2^2
    Mat I1_2   = I1.mul(I1);        // I1^2
    Mat I1_I2  = I1.mul(I2);        // I1 * I2

///初步计算
    Mat mu1, mu2;  
 //高斯平滑
    GaussianBlur(I1, mu1, Size(11, 11), 1.5);
    GaussianBlur(I2, mu2, Size(11, 11), 1.5);

    Mat mu1_2    mu1.mul(mu1);
    Mat mu2_2    mu2.mul(mu2);
    Mat mu1_mu2 =   mu1.mul(mu2);

    Mat sigma1_2, sigma2_2, sigma12;

    GaussianBlur(I1_2, sigma1_2, Size(11, 11), 1.5);
    sigma1_2 -= mu1_2;

    GaussianBlur(I2_2, sigma2_2, Size(11, 11), 1.5);
    sigma2_2 -= mu2_2;

    GaussianBlur(I1_I2, sigma12, Size(11, 11), 1.5);
    sigma12 -= mu1_mu2;

 //公式
    Mat t1, t2, t3;

    t1 = 2 * mu1_mu2 + C1;
    t2 = 2 * sigma12 + C2;
    t3 = t1.mul(t2);              // t3 = ((2*mu1_mu2 + C1).*(2*sigma12 + C2))

    t1 = mu1_2 + mu2_2 + C1;
    t2 = sigma1_2 + sigma2_2 + C2;
    t1 = t1.mul(t2);               // t1 =((mu1_2 + mu2_2 + C1).*(sigma1_2 + sigma2_2 + C2))

    Mat ssim_map;
    divide(t3, t1, ssim_map);      // ssim_map =  t3./t1;

    Scalar mssim = mean( ssim_map ); // mssim = average of ssim map
    return mssim;
}
 

 

运行结果:


示例程序045--视频输入和相似度测量

0

阅读 评论 收藏 转载 喜欢 打印举报/Report
  • 评论加载中,请稍候...
发评论

    发评论

    以上网友发言只代表其个人观点,不代表新浪网的观点或立场。

      

    新浪BLOG意见反馈留言板 欢迎批评指正

    新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

    新浪公司 版权所有