众文网1.主成分分析
主成分分析就是将多项指标转化为少数几项综合指标，用综合指标来解释多变量的方差- 协方差结构。
综合指标即为主成分。所得出的少数几个主成分，要尽可能多地保留原始变量的信息，且彼此不相关。
因子分析是研究如何以最少的信息丢失，将众多原始变量浓缩成少数几个因子变量，以及如何使因子变量具有较强的可解释性的一种多元统计分析方法。聚类分析是依据实验数据本身所具有的定性或定量的特征来对大量的数据进行分组归类以了解数据集的内在结构，并且对每一个数据集进行描述的过程。
其主要依据是聚到同一个数据集中的样本应该彼此相似，而属于不同组的样本应该足够不相似。三种分析方法既有区别也有联系，本文力图将三者的异同进行比较，并举例说明三者在实际应用中的联系，以期为更好地利用这些高级统计方法为研究所用有所裨益。
二、基本思想的异同（一） 共同点主成分分析法和因子分析法都是用少数的几个变量（因子） 来综合反映原始变量（因子） 的主要信息，变量虽然较原始变量少，但所包含的信息量却占原始信息的85 %以上，所以即使用少数的几个新变量，可信度也很高，也可以有效地解释问题。并且新的变量彼此间互不相关，消除了多重共线性。
这两种分析法得出的新变量，并不是原始变量筛选后剩余的变量。在主成分分析中，最终确定的新变量是原始变量的线性组合，如原始变量为x1 ,x2 ,. . . ,x3 ，经过坐标变换，将原有的p个相关变量xi 作线性变换，每个主成分都是由原有p 个变量线性组合得到。
在诸多主成分Zi 中，Z1 在方差中占的比重最大，说明它综合原有变量的能力最强，越往后主成分在方差中的比重也小，综合原信息的能力越弱。因子分析是要利用少数几个公共因子去解释较多个要观测变量中存在的复杂关系，它不是对原始变量的重新组合，而是对原始变量进行分解，分解为公共因子与特殊因子两部分。
公共因子是由所有变量共同具有的少数几个因子；特殊因子是每个原始变量独自具有的因子。对新产生的主成分变量及因子变量计算其得分，就可以将主成分得分或因子得分代替原始变量进行进一步的分析，因为主成分变量及因子变量比原始变量少了许多，所以起到了降维的作用，为我们处理数据降低了难度。
聚类分析的基本思想是： 采用多变量的统计值，定量地确定相互之间的亲疏关系，考虑对象多因素的联系和主导作用，按它们亲疏差异程度，归入不同的分类中一元，使分类更具客观实际并能反映事物的内在必然联系。也就是说，聚类分析是把研究对象视作多维空间中的许多点，并合理地分成若干类，因此它是一种根据变量域之间的相似性而逐步归群成类的方法，它能客观地反映这些变量或区域之间的内在组合关系[3 ]。
聚类分析是通过一个大的对称矩阵来探索相关关系的一种数学分析方法，是多元统计分析方法，分析的结果为群集。对向量聚类后，我们对数据的处理难度也自然降低，所以从某种意义上说，聚类分析也起到了降维的作用。
（二） 不同之处主成分分析是研究如何通过少数几个主成分来解释多变量的方差一协方差结构的分析方法，也就是求出少数几个主成分（变量） ，使它们尽可能多地保留原始变量的信息，且彼此不相关。它是一种数学变换方法，即把给定的一组变量通过线性变换，转换为一组不相关的变量（两两相关系数为0 ，或样本向量彼此相互垂直的随机变量） ，在这种变换中，保持变量的总方差（方差之和） 不变，同时具有最大方差，称为第一主成分；具有次大方差，称为第二主成分。
依次类推。若共有p 个变量，实际应用中一般不是找p 个主成分，而是找出m (m < p) 个主成分就够了，只要这m 个主成分能反映原来所有变量的绝大部分的方差。
主成分分析可以作为因子分析的一种方法出现。因子分析是寻找潜在的起支配作用的因子模型的方法。
因子分析是根据相关性大小把变量分组，使得同组内的变量之间相关性较高，但不同的组的变量相关性较低，每组变量代表一个基本结构，这个基本结构称为公共因子。对于所研究的问题就可试图用最少个数的不可测的所谓公共因子的线性函数与特殊因子之和来描述原来观测的每一分量。
通过因子分析得来的新变量是对每个原始变量进行内部剖析。因子分析不是对原始变量的重新组合，而是对原始变量进行分解，分解为公共因子和特殊因子两部分。
具体地说，就是要找出某个问题中可直接测量的具有一定相关性的诸指标，如何受少数几个在专业中有意义、又不可直接测量到、且相对独立的因子支配的规律，从而可用各指标的测定来间接确定各因子的状态。因子分析只能解释部分变异，主成分分析能解释所有变异。
聚类分析算法是给定m 维空间R 中的n 个向量，把每个向量归属到k 个聚类中的某一个，使得每一个向量与其聚类中心的距离最小。聚类可以理解为： 类内的相关性尽量大，类间相关性尽量小。
聚类问题作为一种无指导的学习问题，目的在于通过把原来的对象集合分成相似的组或簇，来获得某种内在的数据规律。从三类分析的基本思想可以看出，聚类分析中并没于产生新变量，但是主成分分析和因子分析都产生了新变量。
三、数据。
2.毕业论文英语翻译原文 内容关于：主成分分析（principal component
你的邮箱发不进去，请换一个，这里发部分供你参考Principal component analysisPrincipal component analysis (PCA) is a mathematical procedure that uses an orthogonal transformation to convert a set of observations of possibly correlated variables into a set of values of uncorrelated variables called principal components. The number of principal components is less than or equal to the number of original variables. This transformation is defined in such a way that the first principal component has as high a variance as possible (that is, accounts for as much of the variability in the data as possible), and each succeeding component in turn has the highest variance possible under the constraint that it be orthogonal to (uncorrelated with) the preceding components. Principal components are guaranteed to be independent only if the data set is jointly normally distributed. PCA is sensitive to the relative scaling of the original variables. Depending on the field of application, it is also named the discrete Karhunen–Loève transform (KLT), the Hotelling transform or proper orthogonal decomposition (POD).PCA was invented in 1901 by Karl Pearson.[1] Now it is mostly used as a tool in exploratory data analysis and for making predictive models. PCA can be done by eigenvalue decomposition of a data covariance matrix or singular value decomposition of a data matrix, usually after mean centering the data for each attribute. The results of a PCA are usually discussed in terms of component scores (the transformed variable values corresponding to a particular case in the data) and loadings (the weight by which each standarized original variable should be multiplied to get the component score) (Shaw, 2003).PCA is the simplest of the true eigenvector-based multivariate analyses. Often, its operation can be thought of as revealing the internal structure of the data in a way which best explains the variance in the data. If a multivariate dataset is visualised as a set of coordinates in a high-dimensional data space (1 axis per variable), PCA can supply the user with a lower-dimensional picture, a "shadow" of this object when viewed from its (in some sense) most informative viewpoint. This is done by using only the first few principal components so that the dimensionality of the transformed data is reduced.PCA is closely related to factor analysis; indeed, some statistical packages (such as Stata) deliberately conflate the two techniques. True factor analysis makes different assumptions about the underlying structure and solves eigenvectors of a slightly different matrix.。
3.主成分分析详解
一、主成分分析
1、简介
在用统计分析方法研究这个多变量的课题时，变量个数太多就会增加课题的复杂性。人们自然希望变量个数较少而得到的信息较多。在很多情形，变量之间是有一定的相关关系的，当两个变量之间有一定相关关系时，可以解释为这两个变量反映此课题的信息有一定的重叠。主成分分析是对于原先提出的所有变量，建立尽可能少的新变量，使得这些新变量是两两不相关的，而且这些新变量在反映课题的信息方面尽可能保持原有的信息。
2、原理
设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，也是数学上处理降维的一种方法。
二、主成分分析的基本思想及步骤
1、基本思想
主成分分析是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov(F1, F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，……，第P个主成分。
2、步骤
Fp=a1iZX1+a2iZX2+……+apiZXp 其中a1i, a2i， ……，api(i=1，……，m)为X的协方差阵Σ的特征值所对应的特征向量，ZX1, ZX2， ……， ZXp是原始变量经过标准化处理的值，因为在实际应用中，往往存在指标的量纲不同，所以在计算之前须先消除量纲的影响，而将原始数据标准化，本文所采用的数据就存在量纲影响[注：本文指的数据标准化是指Z标准化]。 A=(aij)p*m=(a1,a2，…am,),Rai=λiai,R为相关系数矩阵，λi、ai是相应的特征值和单位特征向量，λ1≥λ2≥…≥λp≥0 。 进行主成分分析主要步骤如下： 1. 指标数据标准化（SPSS软件自动执行）； 2. 指标之间的相关性判定； 3. 确定主成分个数m; 4. 主成分Fi表达式； 5. 主成分Fi命名；
4.如何有效利用主成分分析中的主成分
论文英文摘要 主成分分析方法是一种将多个指标化为少数几个不相关的综合指标（即主成分）的多元统计分析方法。
由于其具有消除各指标不同量纲的影响，以及消除指标间相关性所带来的信息重叠等优点，近几年，该方法在社会经济、管理、自然科学等众多领域得到了广泛的应用，尤其是被用于系统综合评价。 在使用主成分分析方法做综合评价的过程中，由于部分学者对主成分分析的原理及主成分的定义理解不深，出现了不少错误。
本文通过分析主成分分析的原理及综合评价的特点，从理论和实际例子上证实了有关文献作者在用主成分做综合评价过程中某些做法的不合理性。给出了主成分做综合评价的充要条件，阐明了主成分所含信息量的大小与综合水平之间的差异，为充分利用形状因子（反映指标间结构性差异的主成分）提供的有效信息，提出了一种定性与定量相结合的评价体系。
并通过一个实例讲解了评价过程。
5.主成分分析的内容
主成分分析是设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。
主成分分析，是考察多个变量间相关性一种多元统计方法，研究如何通过少数几个主成分来揭示多个变量间的内部结构，即从原始变量中导出少数几个主成分，使它们尽可能多地保留原始变量的信息，且彼此间互不相关.通常数学上的处理就是将原来P个指标作线性组合，作为新的综合指标。
最经典的做法就是用F1（选取的第一个线性组合，即第一个综合指标）的方差来表达，即Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来P个指标的信息，再考虑选取F2即选第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov(F1, F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，……，第P个主成分。 Fp = a1i*ZX1 + a2i*ZX2 + …… + api*ZXp
其中a1i, a2i， ……，api(i=1，……，m)为X的协方差阵Σ的特征值所对应的特征向量，ZX1, ZX2， ……， ZXp是原始变量经过标准化处理的值，因为在实际应用中，往往存在指标的量纲不同，所以在计算之前须先消除量纲的影响，而将原始数据标准化，本文所采用的数据就存在量纲影响[注：本文指的数据标准化是指Z标准化。
A = (aij)p*m = (a1,a2，…am,), Rai = λiai,
R为相关系数矩阵，λi、ai是相应的特征值和单位特征向量， λ1 ≥ λ2 ≥ …≥ λp ≥ 0 。
进行主成分分析主要步骤如下：
1. 指标数据标准化（SPSS软件自动执行）；
2. 指标之间的相关性判定；
3. 确定主成分个数m;
4. 主成分Fi表达式；
5. 主成分Fi命名；
6.主成分分析
主成分分析就是将多项指标转化为少数几项综合指标，用综合指标来解释多变量的方差- 协方差结构。
综合指标即为主成分。所得出的少数几个主成分，要尽可能多地保留原始变量的信息，且彼此不相关。
因子分析是研究如何以最少的信息丢失，将众多原始变量浓缩成少数几个因子变量，以及如何使因子变量具有较强的可解释性的一种多元统计分析方法。聚类分析是依据实验数据本身所具有的定性或定量的特征来对大量的数据进行分组归类以了解数据集的内在结构，并且对每一个数据集进行描述的过程。
其主要依据是聚到同一个数据集中的样本应该彼此相似，而属于不同组的样本应该足够不相似。三种分析方法既有区别也有联系，本文力图将三者的异同进行比较，并举例说明三者在实际应用中的联系，以期为更好地利用这些高级统计方法为研究所用有所裨益。
二、基本思想的异同（一） 共同点主成分分析法和因子分析法都是用少数的几个变量（因子） 来综合反映原始变量（因子） 的主要信息，变量虽然较原始变量少，但所包含的信息量却占原始信息的85 %以上，所以即使用少数的几个新变量，可信度也很高，也可以有效地解释问题。并且新的变量彼此间互不相关，消除了多重共线性。
这两种分析法得出的新变量，并不是原始变量筛选后剩余的变量。在主成分分析中，最终确定的新变量是原始变量的线性组合，如原始变量为x1 ,x2 ,. . . ,x3 ，经过坐标变换，将原有的p个相关变量xi 作线性变换，每个主成分都是由原有p 个变量线性组合得到。
在诸多主成分Zi 中，Z1 在方差中占的比重最大，说明它综合原有变量的能力最强，越往后主成分在方差中的比重也小，综合原信息的能力越弱。因子分析是要利用少数几个公共因子去解释较多个要观测变量中存在的复杂关系，它不是对原始变量的重新组合，而是对原始变量进行分解，分解为公共因子与特殊因子两部分。
公共因子是由所有变量共同具有的少数几个因子；特殊因子是每个原始变量独自具有的因子。对新产生的主成分变量及因子变量计算其得分，就可以将主成分得分或因子得分代替原始变量进行进一步的分析，因为主成分变量及因子变量比原始变量少了许多，所以起到了降维的作用，为我们处理数据降低了难度。
聚类分析的基本思想是： 采用多变量的统计值，定量地确定相互之间的亲疏关系，考虑对象多因素的联系和主导作用，按它们亲疏差异程度，归入不同的分类中一元，使分类更具客观实际并能反映事物的内在必然联系。也就是说，聚类分析是把研究对象视作多维空间中的许多点，并合理地分成若干类，因此它是一种根据变量域之间的相似性而逐步归群成类的方法，它能客观地反映这些变量或区域之间的内在组合关系[3 ]。
聚类分析是通过一个大的对称矩阵来探索相关关系的一种数学分析方法，是多元统计分析方法，分析的结果为群集。对向量聚类后，我们对数据的处理难度也自然降低，所以从某种意义上说，聚类分析也起到了降维的作用。
（二） 不同之处主成分分析是研究如何通过少数几个主成分来解释多变量的方差一协方差结构的分析方法，也就是求出少数几个主成分（变量） ，使它们尽可能多地保留原始变量的信息，且彼此不相关。它是一种数学变换方法，即把给定的一组变量通过线性变换，转换为一组不相关的变量（两两相关系数为0 ，或样本向量彼此相互垂直的随机变量） ，在这种变换中，保持变量的总方差（方差之和） 不变，同时具有最大方差，称为第一主成分；具有次大方差，称为第二主成分。
依次类推。若共有p 个变量，实际应用中一般不是找p 个主成分，而是找出m (m 追问： 您能具体一定么？只是在SPSS中怎么设置 评论0 0 0。
7.主成分分析在实际中可以用于解决哪些方面的问题
spss的主成分分析主要应用在因子分析里，目的是将原来很多的因素，通过他们内在的相关分析，整合成新的一个或多个相对独立的综合因素，来代表原来散乱的因素。
例如我们测量客户满意度，设计了10个题目，那数据收集完后，就可以通过因子分析，来看看这10个题目是否能综合成几个因素。通过spss的主成分分析，就可以得出相应结果。
结果可能是其中5个题目的相关显著，可以通过一个因素来归纳这5个因素，另外3个、2个也可以分别组成一个，而且主成分对应的特征值大于1，这样就最后就可以通过3个综合因素来研究和分析客户满意度了。
8.毕业设计：二维主成分分析在人脸中的应用研究
二维主成分分析方法的推广及其在人脸识别中的应用
Generalization of 2DPCA and its application in face recognition
关键词：线性鉴别分析，特征抽取，分块二维主成分分析，特征矩阵，人脸识别
作者：陈伏兵，陈秀宏，高秀梅，杨静宇
概述：提出了分块二维主成分分析（分块2DPCA）的人脸识别方法.分块2DPCA方法先对图像矩阵进行分块，对分块得到的子图像矩阵直接进行鉴别分析.其特点是：能方便地降低鉴别特征的维数；可以完全避免使用矩阵的奇异值分解，特征抽取方便；与2DPCA方法相比，使用低维的鉴别特征矩阵，而达到较高（至少是不低）的正确识别率.此外，2DPCA是分决2DPCA的特例.在ORL和NUST603人脸库上的试验结果表明，所提出的方法在识别性能上优于2DPCA方法.
9.主成分分析,聚类分析,因子分析的基本思想以及他们各自的优缺点
原发布者：Andrewhao01
主成分分析：利用降维（线性变换）的思想，在损失很少信息的前提下把多个指标转化为几个综合指标（主成分），用综合指标来解释多变量的方差-协方差结构，即每个主成分都是原始变量的线性组合，且各个主成分之间互不相关，使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量90%以上的信息），从而达到简化系统结构，抓住问题实质的目的综合指标即为主成分。求解主成分的方法：从协方差阵出发（协方差阵已知），从相关阵出发（相关阵R已知）。（实际研究中，总体协方差阵与相关阵是未知的，必须通过样本数据来估计）注意事项：1.由协方差阵出发与由相关阵出发求解主成分所得结果不一致时，要恰当的选取某一种方法；2.对于度量单位或是取值范围在同量级的数据，可直接求协方差阵；对于度量单位不同的指标或是取值范围彼此差异非常大的指标，应考虑将数据标准化，再由协方差阵求主成分；3.主成分分析不要求数据来源于正态分布；4.在选取初始变量进入分析时应该特别注意原始变量是否存在多重共线性的问题（最小特征根接近于零，说明存在多重共线性问题）。优点：首先它利用降维技术用少数几个综合变量来代替原始多个变量，这些综合变量集中了原始变量的大部分信息。其次它通过计算综合主成分函数得分，对客观经济现象进行科学评价。再次它在应用上侧重于信息贡献影响力综合评价。缺点：当主成分的因子负荷的符号有正有负时，综合评价函数意义就不明确。命名清晰性低。聚类分析：将