1、典型相关分析方法研究典型相关分析方法研究摘要：典型相关分析是研究两组变量 （或两个随机向量）之间的相关关系的一种统计方法。与仅研究二个变量间线性关系的简单相关分析相比， 典型相关分析能揭示出两组变量之间的内在联系，且两组变量的数目可以改变， 这确定了它的重要性。随着计算机技术的发展, 典型相关分析在各个行业试验研究中应用日渐广泛。 本文主要介绍典型相关分析的基本原理与步骤并举例说明其应用。关键词：典型相关分析；基本原理；步骤；应用Abstract:Canonical correlation analysis is the study of two groups of variables （or
2、 two ran dom vectors） a statistical method the relati on ship betwee n the. Compared with on ly the simple correlati on an alysis of lin ear relati on ship betwee n two variables and canon ical correlatio n analysis can reveal the internal relations between two sets of variables, and the number of t
3、wo groups of variables can change, this determines the importance of it. With the development of computer tech no logy, the canon ical correlatio n an alysis system has bee n widely used in various industries in experimental study. This paper mainly introduces the basic principle and procedure of ca
4、nonical correlation analysis and examples of its application.Key wordsCanonical correlation analysis; basic principle; step; application一、 引言典型相关分析（Canonical Correlation Analysis简称CCA是处理两个随机矢量 之间相关性的统计方法，在多元统计分析中占有非常重要的地位。典型相关分析 可有效反映两组统计数据之间的关系，有着重要的应用背景 o在实际分析问题中，当我们面临两组多变量数据，并希望研究两组变量之间 的关系时，就要用到
5、典型相关分析。 例如，为了研究扩张性财政政策实施以后对宏观经济发展的影响，就需要考察有关财政政策的一系列指标如财政支出总额 的增长率、财政赤字增长率、国债发行额的增长率、税率降低率等与经济发展的 一系列指标如国内生产总值增长率、就业增长率、物价上涨率等两组变量之间的 相关程度。二、 典型相关分析的国内外研究现状典型相关分析及其改进算法已成功的应用到计算机视觉、模式识别、电子通 信、生物医学、文本和图像检索和社会统计学等众多学科或领域。很多学者都在 从事这方面的研究，并取得了良好的效果。孙权森 等将典型相关分析应用到特征融合中，利用典型相关分析达到了信息冗余的目的。陈拓 等利用典型相关分析方法来
6、抑制主动声呐直达波干扰并取得了很好的效果。 王磊将多集典型相关分析用于雷达辐射源指纹识别，与其他的方法相比具有更好的识别性能。张洁玉 5结合广义典型相关分析，提出一种新的仿射不变特征提取方法，且在视点变换 图形识别中得到很高的识别率。Kim将张量典型相关分析应用于判别特征选择和动作检测，并取得很好的效 果。Hwa门出将多重集典型相关分析与主分量分析相结合，并将这种新方法应用 到功能神经影像学中。Rau8提出一种新型正规化CCA方法，并将其应用于NCL-60 微小核糖核酸癌症数据，取得了更稳定和更正确的结果。Wan g9利用典型相关分 析进行多元回归的收缩和选择。随着研究的深入，典型相关分析及其
7、改进算法的理论知识越来越完善，应用 的领域和学科越来越广。三、典型相关分析的基本思想典型相关分析是研究两组变量间整体线性相关关系的多元统计方法， 它借助于主成分分析的思想，对于每一组变量分别寻找线性组合，使生成的新综合变量 能代表原始变量大部分的信息，同时与另一组变量生成的新的综合变量的相关程 度最大，这样的一组新的综合变量称为第一对典型相关变量， 同样的方法可以找到第二对、第三对，使各对典型相关变量之间不相关，典型相关变量之间的简 单相关系数称为典型相关系数10 o四、典型相关的数学描述 考虑两组变量的向量Z 二(Xi,X2ll,Xp,yi,y2ll,yq)其协方差阵为1121一艺一工艺22
8、是第二组变量的协方差矩阵；二12 =二21是X和丫的协方差矩阵 如果我们记两组变量的第一对线性组合为:其中:ai(aii , a 21 ,111, a pi)b 1 = (bii，b2i，|,bqi)所以，典型相关分析就是求ai和bi,使pv达到最大。五、典型相关系数和典型变量1求法在约束条件：Var (u)二 a 艺 11a = 1V a r( v)二 b Y 22 b 二 1下，求a1和b1,使pv达到最大。根据数学分析中条件极值的求法，引入 Lagrange乘数，求极值问题，则可以转化为求的极大值，其中(a，b)= a二 12b (a_：na 1) (b二22S -1) (1)2 2La
9、gra nge乘数12。入和v是b111 a 1(2)a122 b 1ia2b将上面的3式分别左乘a1和b1a 1 艺 12 b 1 -入 a 1b 1 艺 21 a1 - vb 1-1 - 1艺1 1 艺 1 2 2 aM 1、21 -1 入 a2-1 2 2-111 12 222-1 2 2-122 21 1112=1 0入2a入2 bM第一对典型变量提取了原始变量2bX与Y之间相关的主要部分，如果这部分还不能足以解释原始变量，可以在剩余的相关中再求出第二对典型变量和他们的典 型相关系数13。在剩余的相关中再求出第二对典型变量和他们的典型相关系数。设第二对典型变量为:cov ,u2) =
10、covaix,ax) = a1 11a2 = 0covVi,v?) = covyby)二 b124 二 0求使cov( u2,v2) = a2212b2达到最大的a2和b22.典型变量的性质 (1)同一组变量的典型变量之间互不相关k, I 二 1,2, , r; k = I因为特征向量之间是正交的。故 X组的典型变量之间是相互独立的:covuk,ulp covakX,aIXp aj 11a 0Y组的典型变量之间是相互独立的:co wk,vj= cob(Y,bY)二 Q J b = o(2)不同组变量的典型变量之间的相关性不同组内一对典型变量之间的相关系数为:cov( 比 Vj ) covaix
11、,b jy )二 a i cov( x, y ) b j 二 a i 艺仁 b j丸 i , i = j= 0 , j同对相关系数为入，不同对则为零。3、原始变量与典型变量之间的相关系数 原始变量相关系数矩阵D R11R12 1R = I1-R21R22X典、型变量系数矩阵-a1 1a 1 2HI LBa 21a 2 2HIA =ai a 2IIIa r p Xr -V*+_a p 1a p 2HIa r1a r2*a pr _y典型变量系数矩阵六、典型相关分析适用性检验和典型相关系数的显著性检验典型相关分析是研究两组变量之间相关关系的一种统计方法， 但是并非所有 的截面数据都适合于典型相关分
12、析。典型相关分析是在原始数据满足一定条件和假设的前提下进行的，这些条件包括原始变量要服从多元正态分布， 样本容量至少要大于原始变量个数，这些假设包括两组变量之间要具有相关性， 每组原始变量中能够综合出典型变量，即原始变量组内要有一定的相关性等14。若这些条件 和假设无法满足，就不能进行典型相关分析。所以，应用典型相关分析时，首先 要对其适用性进行检验分析。1.原始变量组内相关性检验进行典型相关分析时，既要求原始变量组内存在一定相关性 ，但是又不能存 在高度的多重共线性。为此，典型相关分析适用性的检验，首先是从原始变量组内 相关性检验开始的。具体包括：（1） 原始变量组内存在一定相关性的假设检验
13、。检验的方法可以借鉴主成分分析适用性的检验方法，运用巴特莱特球性检验 来进行。巴特莱特球性检验是从原始数据整个相关矩阵出发进行的检验 ，检验的原假设是相关矩阵为单位矩阵，如果不能拒绝原假设，说明原始变量之间相互独 立,不适合进行典型相关分析。事实上，如果原始数据的相关矩阵是一个单位矩阵 各个原始变量之间互不相关，这时进行典型相关分析，则得到和原始变量个数一 样的典型变量，而且典型变量就是各原始变量自身，显然是不适合进行典型相关 分析的。（2） 原始变量组内变量高度多重共线性的检验。典型相关分析要求原始变量组内要存在一定的相关性，但同时又要求原始变 量之间不能有高度的多重共线性，否则也将不能产生
14、典型变量，导致不能进行典 型相关分析。检验原始变量组内是否存在高度的多重共线性，可以采用如下的检 验方法：可决系数和方差膨胀因子法15。对于每组变量，分别以其中的每个变量为被 解释变量（因变量）,其他变量为解释变量做回归，用R2j表示任意xj为被解释变 量,其他变量为解释变量做线性回归的可决系数，由于Rj度量了为与其他解释变 量的线性相关程度，这种相关程度越强，说明变量间多重共线性越严重，反之,Xj 与其他变量的线性相关程度越弱，说明变量间的多重共线性越弱。病态指数法。根据矩阵行列式的性质，矩阵的行列式等于其特征根的连乘积。 因而当行列式|X XI0时，矩阵X X至少有一个特征根近似于零。反之
15、,可以证明,当矩阵X X至少有一个特征根近似为零时,X必存在多重共线性。 多重共线性的程度常常用病态指数来衡量。为特征根的病态指数，其中，这里的Km是XX的最大特征根。病态指数度量了 矩阵XX的特征根散布程度，可以用来判断多重共线性是否存在以及多重共线性 的严重程度。一般认为，0Clv10时，认为X没有多重共线性；10WCIvlOO时，认为X 存在较强的多重共线性；当CI羽00时，则认为存在严重的多重共线性。除上述外,还可以根据简单相关系数矩阵来判断原始变量内部是否存在严重多种共线性。一般而言，如果每两个解释变量的简单相关系数比较高，如大于019, 则可认为存在着较严重的多重共线性。2原始变量
16、组间线性相关性检验典型相关 分析中,原始变 量总体Z中的两组变 量X,Y如果不相关,即COV(X,Y)=212=0,有关两组变量典型相关的讨论以及典型相关系数的计算就毫无意义了。 原始变量组间相关性检验，即是典型相关分析适用性的检验，同时又是对典型相关系数的整体 检验。所谓整体检验是同时检验所有的典型相关系数看是否有一个是显著的。3.典型相关系数的显著性检验计算典型相关系数是典型相关分析中最重要的环节，但是并不是所有求出的 典型相关系数都是显著相关的，这就必须要对典型相关系数的显著性进行检验。 典型相关系数的本质上是两组原始变量中所提取的典型变量之间的相关 ，并不是两组原始变量之间的相关，典型
17、相关系数是有多个维度的。所以典型相关系数检 验采取的是维度递减检验，即从第一个典型相关系数的显著性检验开始，然后是第 二、第三，一直到所有的各典型相关系数的显著性检验。这种维度递减检验实际 是对部分总体典型相关系数为 0的假设进行检验,仍然是一种多元检验。检验的 原假设是，H(r)0:Kr=0(r=2,3,m,m=min(p,q)备择假设H1:至少一个典型相关系数。 维度递减检验具体有两种做法：一是采用巴特莱特大样本的 V2检验，一是采用近 似的F检验16。七、对典型变量代表性的检验分析典型变量是由原始变量进行综合得到的，典型变量的代表性如何也关系着典 型相关分析的效果好坏，因此还需要对典型变
18、量代表性进行检验分析。典型变量 代表性的检验分析是通过典型变量与原始变量的相关程度以及一组典型变量代 表另一组原始变量的能力来反映的。即通过计算 X、丫变量组由自己的典型变量解释与由对方的典型变量解释的方差百分比与累计百分比八、应用举例在这里我们举例说明典型相关分析方法的应用，我们根据调查数据来分析家 庭特征与家庭消费之间的关系。为了了解家庭的特征与其消费模式之间的关系。调查了 70个家庭的下面两组变量:每年去餐馆就餐的频率2：每年外出看电影频率j：户主的年龄y2：家庭的年收入y3：户主受教育程度 分析两组变量之间的关系变量间的相关系数矩阵如下X1X2yiy2y3X11.000.800.260
19、.670.34X20.801.000.330.590.34yi0.260.331.000.370.21y20.670.590.371.000.35y30.340.340.210.351.00典型相关分析如下:典型相关分析典型相关系数调整典型相关系数近似方差典型相关系数的平方10.6879480.6878480.0052680.47327220.1868650.1866380.0096510.034919各组变量系数如下:X组典型变量的系数U1U2X1（就餐）0.7689-1.4787X2（电影）0.27211.6443丫组典型变量的系数V1V2Y1 （年龄）0.04911.0003Y2 （收入
20、）0.8975-0.5837Y3 （文化）0.19000.2956由表可以得出，两个反映消费的指标与第一对典型变量中 u1的相关系数分别为0.9866和0.8872，可以看出u1可以作为消费特性的指标，第一对典型变 量中v1与丫2之间的相关系数为0.9822，可见典型变量v1主要代表了了家庭收 入，u1和v1的相关系数为0.6879，这就说明家庭的消费与一个家庭的收入之 间其关系是很密切的；典型变量的结构（相关系数）U1U2X10.9866-0.1632X20.87220.4614V1V2丫10.42110.8464Y20.9822-0.1101Y30.51450.3013典型变量的结构（相关
21、系数）V1V2X10.6787-0.0305X20.61040.0862U1U2Y10.28970.1582Y20.6757-0.0206Y30.35390.0563第二对典型变量中u2与x2的相关系数为0.4614，可以看出u2可以作为文 化消费特性的指标，第二对典型变量中 v2与丫1和Y3之间的分别相关系数为0.8464和0.3013，可见典型变量v2主要代表了家庭成员的年龄特征和教育程度， u2和v2的相关系数为0.1869，说明文化消费与年龄和受教育程度之间的相关 性。九、典型相关分析方法注意事项因为典型相关分析可以看做是多元线性回归分析的延伸，有很多注意事项， 在使用时应当注意以下几
22、点：(1)对调查者想做出推断的总体来说， 样本必需具有代表性。一个简单的随机 样本就具有这种性质。如果做不到这一点，调查者至少应确保所选择的样本点包 含了总体中能够发生的各种情况。如果人为地限制了样本的取值范围，会影响相 关系数的估计结果。(2)计量可靠性低的话，会导致X变量之间和丫变量之间的相关系数估计值 偏低。(3)应该通过绘制变量序对的直方图和散点图找出离群点。(4)调查者应该核对的一点是，典型相关系数要足够大到值得考察这些系数的 程度。尤为重要的是，这个相关系数不是只因为一个因变量和一个自变量。 应该 考察方差的比例，如果比例小的话，减少模型中变量的个数可能是合理的。(5)如果样本量足
23、够大，建议将样本分拆，对拆成两半的两个样本分别做典 型相关分析，再把结果进行比较，看看结果是否类似。(6)如果典型相关系数和典型变量载荷差异相当大(即如果它们符号不同)，那么，应该对两者都进行认真考察，以帮助解释结果。与解释第一个典型相关变数 相比，第二或第三个典型相关变数的解释更困难。 要求以后陆续得出的变量线性组合与已获得的线性组合相独立，这个条件对结果所施加的限制可能难于理解。(7)关于典型相关的假设检验，是以X变量和丫变量的联合分布是多元正态分 布为前提的17。如果要研究需要报告这种检验，就应该检查这个假设。(8)因为典型相关既用到X变量集合，也用到丫变量集合，分析中包含的变量总数可能
24、会相当多。这可能会使因缺失值而没用上很多样本点的问题变得严重起 来。此时，要么需认真选择变量，要么需要利用推算技术。 ，来反映典型变量与原始变量的相关程度。参考文献：1王正群，孙兴华，郭丽等基于Fisher准则的多特征融合J.计算机工程，2002, 28(3): 41-42.2孙权森，曾生根，王平安等.典型相关分析的理论及其在特征融合中的应川 J .计算机学报，2005,28( 9) :1524.1533.3陈拓,蔡惠智.采用典型相关分析实现主动声纳直达波干扰抑制叨应用声学 ,2012,2( 31):130 一 134.4王磊，史亚,姬红兵.基于多集典型相关分析的雷达辐射源指纹识别 J ,西安
25、电子科技人学学报,2013( 2):164,171.5张洁玉，陈强，白小晶等基于广义典型相关分析的仿射不变特征提取方法 J 电子与信息学报，2009, 31( 10) : 24652469 6Tae Kyun Kim, KwanYee Kenne kenneth Wong. Tensor Canonical Correlation Analysis for Action Classification J . Computer Vision and Pattern Recognition , 2007, 33: l -8.7Heu ngsun Hwa ng , Kwan ghee Jung Br
26、 J Mam Stat Psycho, 2103, 66( 2) : 308-3218Raul Cruz cano, Mei -Li ng,Ting Lee. Fast regularized canonical analysi s J .Computational Statistic&Data Analysis . 2014, 70： 88- 1009Baiguo An, Guo Jia nhua,Ha nshe ng Wan g.Multivariate Regressi on Shrin kage and Select ion by canoni cal correlati on an
27、alysisJ.Social Science Research Network.2012.10张尧庭，方开泰.多元统计分析引论M.北京：科学出版社，1999.11陈家鼎，孙山泽，李东风.数理统计学讲义M.北京:高等教育出版社,2002.12邓祖新.数据分析方法和 SAS系统M.上海:上海财经大学出版社,2006.13孙文爽，陈兰祥.多元统计分析.北京:高等教育出版社,1994.14Jin Z., Yang J.Y.,Ta ng Z.M., Hu Z.S. A theorem on the un correlated optimal discrim inant vectors. Pattern Recog n-itio n, 2001,34(7): 2041-204715孙权森,曾生根，杨茂龙，等.基于典型相关分析的组合特征抽取及脸像鉴别 J.计算机研究与发展，2005, 42(4): 614-62116陈才扣，刘永俊，杨静宇.二维最大散度差图像投影鉴别分析 J.系统仿真学报，2007, 19(4):833-835.17贺云辉，赵力，邹采荣.一种基于 KCCA的小样本脸像鉴别方法 J.应用科学学报，2006,24(2): 104-144.
