浅析sklearn中的数据预处理方法

$ p- {8 [. n4 J6 H) n- o; f+ M4 I+ J) p; e

简介

: H" t7 a4 k7 N$ q2 `$ H

通过特征提取，我们能得到未经处理的特征，这时的特征可能有以下问题：

不属于同一量纲：即特征的规格不一样，不能够放在一起比较。无量纲化可以解决这一问题。信息冗余：对于某些定量特征，其包含的有效信息为区间划分，例如学习成绩，假若只关心“及格”或不“及格”，那么需要将定量的考分，转换成“1”和“0”表示及格和未及格。二值化可以解决这一问题。定性特征不能直接使用：某些机器学习算法和模型只能接受定量特征的输入，那么需要将定性特征转换为定量特征。最简单的方式是为每一种定性值指定一个定量值，但是这种方式过于灵活，增加了调参的工作。通常使用哑编码的方式将定性特征转换为定量特征。 假设有N种定性值，则将这一个特征扩展为N种特征，当原始特征值为第i种定性值时，第i个扩展特征赋值为1，其他扩展特征赋值为0。哑编码的方式相比直接指定的方式，不用增加调参的工作，对于线性模型来说，使用哑编码后的特征可达到非线性的效果。存在缺失值：缺失值需要补充。信息利用率低：不同的机器学习算法和模型对数据中信息的利用是不同的，之前提到在线性模型中，使用对定性特征哑编码可以达到非线性的效果。类似地，对定量变量多项式化，或者进行其他的转换，都能达到非线性的效果。

下面我们使用sklearn中的preproccessing库来进行数据预处理，以覆盖上面遇到的问题。

数据集准备

首先，加载IRIS数据集，代码如下所示。

/ o4 Z; i( M2 N) M: j% |. o& b* }

from sklearn.datasets import load_iris # 导入IRIS数据集 7 h2 B- m1 x$ h) S- J! X import numpy as np * R5 S" g; i* s1 t1 C" t1 y { iris = load_iris() # 特征矩阵 print(iris.data.shape) # (150, 4) print(iris.data[:1,:]) # [[5.1 3.5 1.4 0.2]] 8 |# ^7 W6 s& H* ] Z3 ] print(np.unique(iris.target)) # [0 1 2]

- s' k7 A5 g+ d

无量纲化

无量纲化是使不同规格的数据转换到同一规格，或不同分布的数据转换到某个特定分布。

( [+ O+ q3 C& A) ?5 P

在以梯度和矩阵为核心的算法中，譬如逻辑回归，支持向量机，神经网络，无量纲化可以加快求解速度；而在距离类模型，譬如K近邻，K-Means聚类中，无量纲化可以帮我们提升模型精度，避免某一个取值范围特别大的特征对距离计算造成影响。

常见的无量纲化方法有标准化、区间缩放法。

# M) N0 k: U7 L& z3 G0 c* f

标准化的前提是特征值服从正态分布，标准化后，其转换成标准正态分布。区间缩放法利用了边界值信息，将特征的取值区间缩放到某个特点的范围，例如[0, 1]等。量纲与无量纲的区别

量纲：物理量的大小与单位有关。比如，1块钱和1分钱，就是两个不同的量纲，因为度量的单位不同了。

5 o& ^+ h1 M) J9 r2 y

无量纲：物理量大小与单位无关。比如，角度、增益、两个长度之比等。

标准化-零均值标准化（zero-mean normalization）

9 _$ A' [2 B) H }. B

标准化是依照特征矩阵的列处理数据，其通过求z-score的方法，将样本的特征值转换到同一量纲下。

" ]8 b. C: d# k$ d) E1 W

简而言之，标准化将连续性变量转变为均值0、标准差1的变量，标准化需要计算特征的均值和标准差，其公式表达为：

，其中是均值，是标准差x′=x−x¯σ，其中x¯是均值，σ是标准差{x}=\frac{x-\overline{x}}{\sigma} ，其中\overline{x}是均值，{\sigma}是标准差 \\

8 d6 l6 s2 A6 S- J3 C

常用于基于正态分布的算法，比如回归。

9 B( R$ [" R% K3 R. X

使用preproccessing库的StandardScaler（基于特征矩阵的列，将属性值转换至服从正态分布）类对数据进行标准化，代码如下：

& @. h, {! a9 F* y- P/ E

from sklearn.preprocessing import StandardScaler # 标准化，返回值为标准化后的数据 standard = StandardScaler().fit_transform(iris.data) print(standard[:1,:]) # [[-0.90068117, 1.01900435, -1.34022653, -1.3154443 ]]

归一化-区间缩放法

- z# I* c2 W/ l

区间缩放法的思路有多种，常见的一种为利用两个最值进行缩放，把原始的连续型变量转换为范围在 [a,b] 或者 [0,1] 之间的变量，公式表达为：

x′=x−min(x)max(x)−min(x){x}=\frac{x-\mathit{min}(x)}{\mathit{max}(x)-\mathit{min}(x)} \\

; U8 X/ Z. W" w) |

区间缩放可以提升模型收敛速度，提升模型精度。

' ?: W- X3 J$ O/ ?: h8 K

常见用于神经网络。

使用preproccessing库的MinMaxScaler（基于最大最小值，将数据转换到[0,1]区间上的）类对数据进行区间缩放，代码如下：

8 _' s% j _* x( i

# 区间缩放，返回值为缩放到[0, 1]区间的数据 / l( F& F1 _' C9 H1 z+ ?& s$ D from sklearn.preprocessing import MinMaxScaler ) y6 N0 i$ Q/ s% P+ v- R8 O. |5 m min_max = MinMaxScaler().fit_transform(iris.data) print(min_max[:1,:]) # [[0.22222222, 0.625 , 0.06779661, 0.04166667]] ( @4 o5 J( K0 D* A: `: Z

正则化（Normalization）

; z/ D+ L5 A, f" {5 Y

正则化的过程是将每个样本缩放到单位范数（每个样本的范数为1），正则化的目的在于样本向量在点乘运算或其他核函数计算相似性时，拥有统一的标准。例如，对于两个TF-IDF向量的l2-norm进行点积，就可以得到这两个向量的余弦相似性。

# r6 x7 @* H/ o5 y" \$ `. @, [- ]. L

常见用于文本分类和聚类。

Normalization主要思想是对每个样本计算其p-范数，然后对该样本中每个元素除以该范数，这样处理的结果是使得每个处理后样本的p-范数（l1-norm, l2-norm）等于1。即Normalization的过程是将每个样本缩放到单位范数(结合单位向量进行理解，p=2p=2时为单位向量，其他为单位范数)

2 }7 j+ c0 A' f! i6 X

LpL_p范数的计算公式如下所示：

/ {7 _2 P: D+ \6 i8 P

||X||p=(|x1|p+|x2|p+...+|xn|p)1p||X||_p = (|x_1|^p+|x_2|^p+...+|x_n|^p)^{\frac {1}{p}} \\

, y3 x2 v0 v: f- a9 D8 W

可见，L2L2范数即为欧式距离，则规则为L2L2的Normalization公式如下所示：

- \ p: A4 P( A+ \; K1 p

x′=x∑jmxj2{x} = \frac {x} {\sqrt{\sum_j^mx_j^2}} \\

可知，其将每行(条)数据转为相应的“单位向量”。

. `- a3 q3 X! E/ j) Q) t

使用preproccessing库的Normalizer（基于矩阵的行，将样本向量转换为单位向量）类对数据进行正则化，其代码如下：

$ K9 n3 ?/ I' g

from sklearn.preprocessing import Normalizer norm = Normalizer(norm=l2).fit_transform(iris.data) 1 P- s. r3 s$ b) @ print(norm[:1,:]) # [[0.22222222, 0.625 , 0.06779661, 0.04166667] : B) j) A7 }7 b2 z& A! J

参数说明：

norm：可以为l1、l2或max，默认为l2。

若为l1时，样本各个特征值除以各个特征值的绝对值之和若为l2时，样本各个特征值除以各个特征值的平方之和若为max时，样本各个特征值除以样本中特征值最大的值

标准化、归一化与正则化的区别

标准化处理：把特征变量转换成均值为0，方差为1的标准正态分布归一化处理：把特征变量转换为最小值为0，最大值为1的区间正则化处理：将每个样本在所有变量上的值缩放到单位范数（即每个样本在所有变量上的值的范数为1）

定性特征和定量特征的区别

9 v/ g, G. ]1 u( k

一般定性都会有相关的描述词，定量的描述都是可以用数字来量化处理。举个例子：

定性：博主很胖、博主很瘦定量：博主有80kg、博主有60kg

对定量特征二值化

定量特征二值化的核心在于设定一个阈值，大于阈值的赋值为1，小于等于阈值的赋值为0，公式表达如下：

{threshold} \\ 0 & ，{x} \leq {threshold} \end{cases} \\">，，x′=={1，x>threshold0，x≤threshold {x} == \begin{cases} 1 & ， x > {threshold} \\ 0 & ，{x} \leq {threshold} \end{cases} \\

使用preproccessing库的Binarizer类对数据进行二值化，代码如下：

from sklearn.preprocessing import Binarizer 7 x- H5 ?% X* b! O * G# K: l$ \+ t4 b # 二值化，阈值设置为3，返回值为二值化后的数据 binary = Binarizer(threshold=3).fit_transform(iris.data) print(binary[:1,:]) # [[1., 1., 0., 0.]] * ]4 \: S1 s+ |% z2 p

; i) K' a0 `; E2 |6 `8 ?# P

对定性特征独热编码

你的变量不是定量特征的时候，是无法拿去进行训练模型的。独热编码主要是针对定性的特征进行处理，然后得到可以用来训练的特征。

B" U/ A8 u* s: h

由于IRIS数据集的特征皆为定量特征，故使用其目标值进行独热编码（实际上是不需要的）。

使用preproccessing库的OneHotEncoder类对数据进行独热编码，代码如下：

% C9 X. _- v; R: D

# 独热编码，对IRIS数据集的目标值，返回值为独热编码后的数据 from sklearn.preprocessing import OneHotEncoder + j* l" W1 Z/ k$ A# p9 V: _ import pandas as pd ) z4 p; n0 `+ B# S 0 m! I9 Q: ?# y print(iris.target.reshape(-1,1).shape) # (150, 1) / z! ~+ U- P n8 i' R( g: \ one_hot = OneHotEncoder().fit_transform(iris.target.reshape(-1,1)) " s2 M& Q! p3 U; i, z print(one_hot.shape) # (150, 3) 4 c" i$ \2 O: M) b5 ]- D+ D9 J dummy = pd.get_dummies(iris.target) # H, |4 y6 K3 F$ k R0 C* d5 D! n print(dummy.shape) # (150, 3) 9 R8 ? J2 D% R, Z/ M

! U5 H, J1 _0 X' F% P' p: I f

缺失特征值补全

由于IRIS数据集没有缺失值，故对数据集新增一个样本，4个特征均赋值为NaN，表示数据缺失。

/ M, l; q g! e n

使用preproccessing库的SimpleImputer类对数据进行缺失值补全，代码如下：

4 j/ w- j# M/ ^" E$ ~/ o! b/ ^* r

from numpy import vstack, array, nan ) T% I: m; k h1 _2 R # 缺失值计算，返回值为计算缺失值后的数据 from sklearn.impute import SimpleImputer 7 S3 J: m7 G1 a& ?! N* ?3 ^& b # 参数missing_value为缺失值的表示形式，默认为NaN # 参数strategy为缺失值填充方式，默认为mean（均值) imputer = SimpleImputer(missing_values=nan, strategy = "mean") data = vstack((array([nan, nan, nan, nan]), iris.data)) print(data[0:1,:]) # [[nan nan nan nan]] result = imputer.fit_transform(data) H8 \9 \1 c; i" ? O+ x8 z print(result[0:1,:]) # [[5.84333333 3.05733333 3.758 1.19933333]] G% t, Q' o) d b6 L' Y

数据变换

常见的数据变换有基于多项式的、基于指数函数的、基于对数函数的。

基于多项式的数据变换

将少数几个特征转换成更多的特征，来增加模型的复杂度。

: C# H' ]$ ]$ }- N% r+ u

2个特征(X1,X2X_1, X_2)，多项式次数为2的多项式转换公式如下：

* `* h! h1 L1 n3 u; n0 f! D% n4 _

(X1′,X2′,X3′,X4′,X5′,X6′)=(1,X1,X2,X12,X1X2,X22)(X_1,X_2,X_3,X_4,X_5,X_6)= (1, X_1, X_2, X_1^2, X_1X_2, X_2^2) \\

使用preproccessing库的PolynomialFeatures类对数据进行多项式转换，代码如下：

from sklearn.preprocessing import PolynomialFeatures # 多项式转换 # 参数degree，默认值为2 , l4 E# ]" c5 [8 h. d ploy = PolynomialFeatures().fit_transform(iris.data) 3 Z( o, e% k7 v. Q7 X- n print(ploy.shape) # (150, 15) 1 l7 q' }( G5 D! B- C$ [- z print(ploy[:1,:]) # [[ 1. 5.1 3.5 1.4 0.2 26.01 17.85 7.14 1.02 12.25 4.9 0.7 1.96 0.28 0.04]]

PolynomialFeatures类的参数说明：

degree：控制多项式的次数；interaction_only：默认为 False，如果指定为 True，那么就不会有特征自己和自己结合的项，组合的特征中没有类似于X12X_1^2 和 X22X_2^2 的项；include_bias：默认为 True ，如果为 True 的话，那么结果中就会有 0 次幂项，即全为 1 这一列。

如果interaction_only=True，3个特征(X1,X2,X3)(X_1, X_2, X_3)，多项次数为2的多项式转换公式如下：

(X1′,X2′,X3′,X4′,X5′,X6′,X7′,X8′)=(1,X1,X2,X3,X1X2,X1X3,X2X3,X1X2X3)(X_1,X_2,X_3,X_4,X_5,X_6,X_7,X_8)=(1, X_1, X_2, X_3, X_1X_2, X_1X_3, X_2X_3, X_1X_2X_3) \\

基于对数函数的数据变换

+ F1 F7 J, K" `* A# v( @/ ]

对数函数的数据变换是一个基于单变元函数的数据变换。

t& k3 r& k4 R7 E$ f5 _# g: ?- _% h

使用preproccessing库的FunctionTransformer对数据进行对数函数转换，代码如下：

from numpy import log1p - W6 `4 B n6 s' }! `6 M; n9 | from sklearn.preprocessing import FunctionTransformer # FunctionTransformer:自定义预处理函数，进行特征映射 # 这里使用自定义转换函数进行对数函数的数据变换 o _( M: d, L- E+ V # 第一个参数是单变元函数 1 M5 E- F0 Z; I, B% t; B% ] log_one = FunctionTransformer(log1p).fit_transform(iris.data) print(log_one.shape) # (150, 4) print(log_one[:1,:]) # [[1.80828877 1.5040774 0.87546874 0.18232156]] , Q# c `# ~1 y( ?* K8 M

/ X P8 e, _1 O: t, [6 T

总结

( ~5 i0 m# Q/ V+ u1 `% d+ f- R& u

数据预处理是为了得到整洁的数据，让模型能读懂且更好地学习数据，但预处理过程绝不仅仅只是以上的内容，很多处理过程与数据分析目的紧密结合的，本文只是简要的介绍一些常见的数据预处理方法。如下表格所示：

5 Q. N6 z2 L: [4 O' s+ v9 D

参考文章

sklearn offical docssklearn中的数据预处理和特征工程使用sklearn做特征工程标准化、归一化、正则化 5 D2 ?4 |0 d* o; q. L5 @ - G2 x1 r) ~+ ^5 |# t