Sklearn中的pca降维

发表于   |   分类于

PCA 是无监督数据降维方式，目的是将一个高维数据集转换为一个低维数据集。如今我们的数据集往往有成百上千维的特征，但并不是所有的特征都很重要，通过降维，去除那些不重要的特征。数据维度的降低了，同时计算机的运算效率也得到了提升。在人工智能技术刚起步的时候，人们关注的焦点在于算法的准确性，通过不断优化算法中的计算参数，来提高运算结果的准确率。今天，随着存储与通信技术的发展，数据规模变得空前的庞大，所以运算效率变成了我们不得不考虑的问题。

假如我们有一份医患数据集，该数据集有许多患者特征，如：年龄、性别、身高、体重、职业、家庭住址、联系方式、身份证号、银行卡号、血压、血糖、心率、视力等一些列特征。这份数据集涉及到了患者的诸多隐私，是不能随便向外公开的。传统的方法是对该数据集进行匿名化处理，如将患者姓名用一串数字表示。但是在今天，通过多方面的数据匹配，仍然可以匹配出具体的患者。这时候数据降维技术就可以派上用场了，假设在降维之前，我们每一位患者有 20 个特征，我们的目标是把数据降到两维。这里降维不是去掉其中 18 个特征，保留剩下的两个特征，而是通过对 20 个特征进行压缩，将数据压缩成 2 维。降维前这 20 个特征，每一个都有其具体的实际含义，降维后的这两个特征是不可解释的，此时我们任何人都看不出来它的实际含义。如果我们要公开一些涉及到个人信息安全的数据集，那么在公开之前，就必须对数据集做处理。

infor security.jpg

之前我们讨论过 PCA 降维，整个过程我们采用的是 Python 的 Numpy 库（线性代数中的矩阵计算）来进行的，整个过程如下：

  1. 数据的标准化处理 - 去均值
  2. 计算协方差矩阵
  3. 计算特征向量与特征值
  4. 根据特征值的大小，选择前 k 个特征向量组成一个新的特征矩阵
  5. 原始数据与新的特征矩阵相乘

机器学习 sklearn 库直接为我们提供了 PCA 模块，我们可直接调用该模块对原始数据进行处理，更加简单方便。下面我们对 PCA 算法进行一个详细的说明。
PCA 的 API 文档

1
2
3
sklearn.decomposition.PCA(n_components=None, 
copy=True, whiten=False, svd_solver=’auto’,
 tol=0.0, iterated_power=’auto’, random_state=None)

PCA 算法中的参数说明，这里对官方的英文文档做一个翻译：

  • n_components：要保留的成分数量，其值类型可以设为整型，浮点型，字符串。如果不指定该值，n_components == min(n_samples, n_features)；如果 n_components == ‘mle’，并且 svd_solver == ‘full’，则使用 Minka’s MLE 方法估计维度。当 0 < n_components < 1 时，并且 svd_solver == ‘full’时，方差值必须大于 n_components，如果 n_components == ‘arpack’，则 n_components 必须严格的等于特征与样本数之间的最小值。
  • copy：默认为 True 值
  • whiten: 默认为 False
  • svd_solver：字符型数值，默认为 auto，其余可选值有：full,arpack,randomized。算法根据数据的规模以及 n_components 来自动选择合适的参数。

PCA 的算法属性

  • components_：特征变换空间（特征矩阵），根据我们指定的 n_components = k 的值，选择方差最大的 k 个值所对应的的特征向量组成的特征矩阵。
  • explainedvariance：n_components 所对应的的方差。
  • explained_varianceratio：不同特征方差的占比。
  • singularvalues : 特征值，与前面的特征向量 conponents_是一一对应的。

样例的演示
我们使用 sklearn 自带的数据集 boston（波士顿地区房价数据集），该数据集有 506 个样本，13 个特征，像房屋面积，区位，卧室数量等等以及价格（标签值）。pca 是一种无监督降维算法，所以我们不使用价格数据。下面是 pca 的代码实现过程：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler
from sklearn import datasets

boston_house_price = datasets.load_boston()#导入boston房价数据集
X = boston_house_price .data#获取特征数据
#第一步，对数据进行标准化处理
X_std = StandardScaler().fit_transform(X)
#实例化PCA
pca = PCA(n_components = 3)
#训练数据
pca.fit(X_std)

#使用PCA的属性查看特征值
pca.singular_values_
array([55.6793095 , 26.93022859, 25.07516773])
#使用PCA的属性查看特征值对应的特征向量
pca.components_
array([[ 0.2509514 , -0.25631454,  0.34667207,  0.00504243,  0.34285231,
        -0.18924257,  0.3136706 , -0.32154387,  0.31979277,  0.33846915,
         0.20494226, -0.20297261,  0.30975984],
       [-0.31525237, -0.3233129 ,  0.11249291,  0.45482914,  0.21911553,
         0.14933154,  0.31197778, -0.34907   , -0.27152094, -0.23945365,
        -0.30589695,  0.23855944, -0.07432203],
       [ 0.24656649,  0.29585782, -0.01594592,  0.28978082,  0.12096411,
         0.59396117, -0.01767481, -0.04973627,  0.28725483,  0.22074447,
        -0.32344627, -0.3001459 , -0.26700025]])
#对原始的数据集进行转换
new_data = X.dot(pca.components_.T)
print(new_data[:10])#打印出转换后的前十行数据做一个观察
array([[ 38.89018107,  32.93532391, -51.87396066],
       [ 33.02343232,  54.79866941, -71.20799688],
       [ 26.53873512,  48.76840918, -67.85363879],
       [ 12.75698667,  47.78351826, -72.33882223],
       [ 15.65240562,  50.77871883, -73.70920814],
       [ 17.71686561,  51.4336294 , -73.35783472],
       [ 51.22331968,  29.63835929, -51.11003359],
       [ 62.1527616 ,  38.52240664, -53.72636333],
       [ 68.87661773,  36.34017288, -53.90249412],
       [ 60.21849172,  32.80458593, -50.06565433]])
#此时的数据，我们就不知道它具体代表的什么含义了

图形化 PCA 降维前后的数据对比
我们用 sklearn 中 iris 花数据集来举例，该数据集有四个特征，花萼长度、花萼宽度、花瓣长度、花瓣宽度，下面是画图过程的代码实现。

iris.jpg

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
from sklearn import datasets
from sklearn.decomposition import PCA

# import some data to play with
iris = datasets.load_iris()
X = iris.data[:, :2]  # we only take the first two features.
y = iris.target

x_min, x_max = X[:, 0].min() - .5, X[:, 0].max() + .5
y_min, y_max = X[:, 1].min() - .5, X[:, 1].max() + .5

plt.figure(2, figsize=(8, 6))
plt.clf()

# Plot the training points
plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.Set1,
            edgecolor='k')
plt.xlabel('Sepal length')
plt.ylabel('Sepal width')

plt.xlim(x_min, x_max)
plt.ylim(y_min, y_max)
plt.xticks(())
plt.yticks(())

# To getter a better understanding of interaction of the dimensions
# plot the first three PCA dimensions
fig = plt.figure(1, figsize=(8, 6))
ax = Axes3D(fig, elev=-150, azim=110)
X_reduced = PCA(n_components=3).fit_transform(iris.data)
ax.scatter(X_reduced[:, 0], X_reduced[:, 1], X_reduced[:, 2], c=y,
           cmap=plt.cm.Set1, edgecolor='k', s=40)
ax.set_title("First three PCA directions")
ax.set_xlabel("1st eigenvector")
ax.w_xaxis.set_ticklabels([])
ax.set_ylabel("2nd eigenvector")
ax.w_yaxis.set_ticklabels([])
ax.set_zlabel("3rd eigenvector")
ax.w_zaxis.set_ticklabels([])

plt.show()

降维前，我们选取了 iris 数据集中的两个特征 sepal length（花萼长度）和 sepal width（花萼宽度）来绘制数据分布，由图可以看出，数据集中有三种花，但是三者相互混杂，难以区分清楚。

original data.png

iris 数据集本有 4 个特征，这时我们采用 pca 算法，将 4 维数据变化为 3 维。从图中的结果可以看出，经过变换后，三种类别区分的更加清楚了。

pca data.png

PCA 降维小结

  1. 实现过程有两种：Python 的 Numpy 库；SKlearn 的 PCA 模块，两者的计算结果是相同的。
  2. 数据降维的结果不一定都是好的，所以在解决实际问题，要同时计算降维前与降维后的结果，进行比较。
  3. 降维后的数据是不可解释的，但不影响最终的计算结果。