加载中…
个人资料
量化投资
量化投资
  • 博客等级:
  • 博客积分:0
  • 博客访问:4,739
  • 关注人气:48
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
正文 字体大小:

Pearson相关系数公式的四种形式及Python代码实现

(2018-02-25 20:21:15)
标签:

大数据分析

数据挖掘

数据科学家

数据分析师

Pearson相关系数公式的四种形式及Python代码实现

两个变量之间的皮尔逊相关系数定义为两个变量之间的协方差和标准差的商。

第一种形式(也就是定义的形式):

http://www.cda.cn/uploadfile/image/20180224/20180224071903_41243.png

第二种形式:

http://www.cda.cn/uploadfile/image/20180224/20180224071856_81686.png

第三种形式:

http://www.cda.cn/uploadfile/image/20180224/20180224071850_16092.png

第四种形式:

http://www.cda.cn/uploadfile/image/20180224/20180224071842_33469.png

(其中,E为数学期望或均值,N为数据的数目,E{ [X-E(X)] [Y-E(Y)]}称为随机变量X与Y的协方差,记为Cov(X,Y))

根据第四种形式的公式,使用python实现计算两列数据的pearson相关系数的代码:

from math import sqrt

def multiply(a,b):
    #a,b两个列表的数据一一对应相乘之后求和
    sum_ab=0.0
    for i in range(len(a)):
        temp=a[i]*b[i]
        sum_ab =temp
    return sum_ab

def cal_pearson(x,y):
    n=len(x)
    #求x_list、y_list元素之和
    sum_x=sum(x)
    sum_y=sum(y)
    #求x_list、y_list元素乘积之和
    sum_xy=multiply(x,y)
    #求x_list、y_list的平方和
    sum_x2 = sum([pow(i,2) for i in x])
    sum_y2 = sum([pow(j,2) for j in y])
    molecular=sum_xy-(float(sum_x)*float(sum_y)/n)
    #计算Pearson相关系数,molecular为分子,denominator为分母
    denominator=sqrt((sum_x2-float(sum_x**2)/n)*(sum_y2-float(sum_y**2)/n))
    return molecular/denominator

f=open('filename','r')
data={}
lines=f.readlines()
for line in lines:
    #strip用于去掉换行符,split()通过指定分隔符对字符串进行切片,返回子字符串
    cols=line.strip('\n').split(',')
    for i in range(len(cols)):
        #float将字符串转成浮点数
        data.setdefault(i,[]).append(float(cols[i]))
x=data[0]
y=data[1]

if __name__=='__main__':
    print ("x_list,y_list的Pearson相关系数为:" str(cal_pearson(x,y)))
皮尔逊相关系数的适用范围:

当两个变量的标准差都不为零时,相关系数才有定义,皮尔逊相关系数适用于:
1. 两个变量之间是线性关系,都是连续数据。
2. 两个变量的总体是正态分布,或接近正态的单峰分布。
3. 两个变量的观测值是成对的,每对观测值之间相互独立。

 

0

阅读 收藏 喜欢 打印举报/Report
  

新浪BLOG意见反馈留言板 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

新浪公司 版权所有