. I2 ?4 q, V- B: B4 D0 S 简介/ u$ B, V1 l6 _# K) [$ _& D
通过特征提取,我们能得到未经处理的特征,这时的特征可能有以下问题: 不属于同一量纲:即特征的规格不一样,不能够放在一起比较。无量纲化可以解决这一问题。信息冗余:对于某些定量特征,其包含的有效信息为区间划分,例如学习成绩,假若只关心“及格”或不“及格”,那么需要将定量的考分,转换成“1”和“0”表示及格和未及格。二值化可以解决这一问题。定性特征不能直接使用:某些机器学习算法和模型只能接受定量特征的输入,那么需要将定性特征转换为定量特征。最简单的方式是为每一种定性值指定一个定量值,但是这种方式过于灵活,增加了调参的工作。通常使用哑编码的方式将定性特征转换为定量特征。 假设有N种定性值,则将这一个特征扩展为N种特征,当原始特征值为第i种定性值时,第i个扩展特征赋值为1,其他扩展特征赋值为0。哑编码的方式相比直接指定的方式,不用增加调参的工作,对于线性模型来说,使用哑编码后的特征可达到非线性的效果。存在缺失值:缺失值需要补充。信息利用率低:不同的机器学习算法和模型对数据中信息的利用是不同的,之前提到在线性模型中,使用对定性特征哑编码可以达到非线性的效果。类似地,对定量变量多项式化,或者进行其他的转换,都能达到非线性的效果。下面我们使用sklearn中的preproccessing库来进行数据预处理,以覆盖上面遇到的问题。 ! @% E+ U$ A- D+ U" [' Y' ~
数据集准备5 j! e. D4 r- ]8 B" S/ G: G
首先,加载IRIS数据集,代码如下所示。 0 m( w7 L. {3 I$ N# a0 J# ~
from sklearn.datasets import load_iris # 导入IRIS数据集* Q' r+ l+ a# F
import numpy as np, Z+ o. h( p' @/ R# t
0 w/ t8 b5 h' `4 J. m
iris = load_iris() # 特征矩阵
& Y) K0 x; V8 e0 x9 w print(iris.data.shape) # (150, 4)2 t8 _' H6 R5 \% m5 }6 p
print(iris.data[:1,:]) # [[5.1 3.5 1.4 0.2]]
. z1 D" m6 x& {! O print(np.unique(iris.target)) # [0 1 2]
2 E/ u7 d; B, g7 `; f3 h+ X5 r4 n ?+ k" u( _- R. V3 w
无量纲化" Z$ v% O: q" X! s4 h' E" N+ P5 S6 }
无量纲化是使不同规格的数据转换到同一规格,或不同分布的数据转换到某个特定分布。 * L! ~ f1 t7 O7 X
在以梯度和矩阵为核心的算法中,譬如逻辑回归,支持向量机,神经网络,无量纲化可以加快求解速度;而在距离类模型,譬如K近邻,K-Means聚类中,无量纲化可以帮我们提升模型精度,避免某一个取值范围特别大的特征对距离计算造成影响。 % ]5 r& p# b- D% v+ V- |7 S" e
常见的无量纲化方法有标准化、区间缩放法。
1 Z; c4 S1 M; T" J0 A 标准化的前提是特征值服从正态分布,标准化后,其转换成标准正态分布。区间缩放法利用了边界值信息,将特征的取值区间缩放到某个特点的范围,例如[0, 1]等。量纲与无量纲的区别 % z. g$ X+ U; m% I5 O' i
量纲:物理量的大小与单位有关。比如,1块钱和1分钱,就是两个不同的量纲,因为度量的单位不同了。
& O6 I a/ k- E- D4 Q 无量纲:物理量大小与单位无关。比如,角度、增益、两个长度之比等。 9 U6 \/ g. `* x6 ^) L6 ^$ i4 D
标准化-零均值标准化(zero-mean normalization)3 e% t3 O& M3 n. }" Y1 l+ U9 T
标准化是依照特征矩阵的列处理数据,其通过求z-score的方法,将样本的特征值转换到同一量纲下。 & g) ~7 }# e. _3 g7 t, p3 O
简而言之,标准化将连续性变量转变为均值0、标准差1的变量,标准化需要计算特征的均值和标准差,其公式表达为:
o$ J+ E% C, C* A ,其中是均值,是标准差x′=x−x¯σ,其中x¯是均值,σ是标准差{x}=\frac{x-\overline{x}}{\sigma} ,其中\overline{x}是均值,{\sigma}是标准差 \\
d- `. q3 g6 z% Z, m x" F 常用于基于正态分布的算法,比如回归。
2 _4 t+ Y/ C' ~% q1 f# I* u$ t 使用preproccessing库的StandardScaler(基于特征矩阵的列,将属性值转换至服从正态分布)类对数据进行标准化,代码如下:
% j/ P" H& x! ~" ? R9 v5 ]! f from sklearn.preprocessing import StandardScaler
- ~+ g; E/ U& ?$ l( k+ v6 a" d: ]3 y8 [
# 标准化,返回值为标准化后的数据
( L' ~, w4 | W( G! f0 [6 g- u5 j standard = StandardScaler().fit_transform(iris.data)
9 Y; m- ^$ @ {- Y print(standard[:1,:]) # [[-0.90068117, 1.01900435, -1.34022653, -1.3154443 ]]% a: Y* Z" m. {+ W' b, I
$ m; e9 O: Z9 ~0 Q
归一化-区间缩放法. e( G( h) L& |: I/ N3 g
区间缩放法的思路有多种,常见的一种为利用两个最值进行缩放,把原始的连续型变量转换为范围在 [a,b] 或者 [0,1] 之间的变量,公式表达为: * h; S5 C- x7 {4 ^7 H: Y
x′=x−min(x)max(x)−min(x){x}=\frac{x-\mathit{min}(x)}{\mathit{max}(x)-\mathit{min}(x)} \\ * G3 u4 i% G: B3 k
区间缩放可以提升模型收敛速度,提升模型精度。
$ q7 K; l; `- l 常见用于神经网络。 0 r, ], O$ P0 B8 V2 P% ]3 I: n) D9 e
使用preproccessing库的MinMaxScaler(基于最大最小值,将数据转换到[0,1]区间上的)类对数据进行区间缩放,代码如下:
# p& G9 ?6 F* R7 J # 区间缩放,返回值为缩放到[0, 1]区间的数据2 r2 \6 b: f# \1 }6 |" z3 e: q" L
from sklearn.preprocessing import MinMaxScaler3 W# S n6 I% m3 X- i; f2 t
0 P+ _* r9 L; Y2 D6 J/ R8 y; e min_max = MinMaxScaler().fit_transform(iris.data)
5 M# @2 J) ]7 B: n: K; Q print(min_max[:1,:]) # [[0.22222222, 0.625 , 0.06779661, 0.04166667]]
1 I }) G; r9 k 5 C+ O) }4 w+ W* i& B) e
正则化(Normalization) v- \- S. W2 m1 w% J3 j& w9 |& e
正则化的过程是将每个样本缩放到单位范数(每个样本的范数为1),正则化的目的在于样本向量在点乘运算或其他核函数计算相似性时,拥有统一的标准。例如,对于两个TF-IDF向量的l2-norm进行点积,就可以得到这两个向量的余弦相似性。 5 ]/ @2 i- ^$ e0 ^" V/ x4 C
常见用于文本分类和聚类。 8 U% {- I1 Y% y: t1 n2 j
Normalization主要思想是对每个样本计算其p-范数,然后对该样本中每个元素除以该范数,这样处理的结果是使得每个处理后样本的p-范数(l1-norm, l2-norm)等于1。即Normalization的过程是将每个样本缩放到单位范数(结合单位向量进行理解,p=2p=2时为单位向量,其他为单位范数) P c, ?# x1 W# L4 B3 c
LpL_p范数的计算公式如下所示:
) H7 J& b' ]4 ?8 l% K0 ?; X+ O2 @$ { ||X||p=(|x1|p+|x2|p+...+|xn|p)1p||X||_p = (|x_1|^p+|x_2|^p+...+|x_n|^p)^{\frac {1}{p}} \\
. }& c0 }# L% o! _! C" q 可见,L2L2范数即为欧式距离,则规则为L2L2的Normalization公式如下所示:
9 _3 `0 H; _7 j* J" ^& O x′=x∑jmxj2{x} = \frac {x} {\sqrt{\sum_j^mx_j^2}} \\ ~0 \1 m" I2 G* J
可知,其将每行(条)数据转为相应的“单位向量”。
! p% ^7 I+ c7 f/ a9 k2 X# Q 使用preproccessing库的Normalizer(基于矩阵的行,将样本向量转换为单位向量)类对数据进行正则化,其代码如下:
6 q* B1 V# N. U1 f/ E: U from sklearn.preprocessing import Normalizer1 E. ?# b$ e: s B0 P
9 Z& s# q5 @, g8 K. _- G
norm = Normalizer(norm=l2).fit_transform(iris.data)
4 a x: a3 L, d0 m% B print(norm[:1,:]) # [[0.22222222, 0.625 , 0.06779661, 0.04166667]
: Q* X, V1 R" i1 y% W
O( o G4 e( t& D 参数说明:
5 N0 H. {4 x# C: j4 }* \ norm:可以为l1、l2或max,默认为l2。 若为l1时,样本各个特征值除以各个特征值的绝对值之和若为l2时,样本各个特征值除以各个特征值的平方之和若为max时,样本各个特征值除以样本中特征值最大的值标准化、归一化与正则化的区别标准化处理:把特征变量转换成均值为0,方差为1的标准正态分布归一化处理:把特征变量转换为最小值为0,最大值为1的区间正则化处理:将每个样本在所有变量上的值缩放到单位范数(即每个样本在所有变量上的值的范数为1)定性特征和定量特征的区别
$ H7 \1 N5 _8 _) f, I. O0 p( d) I 一般定性都会有相关的描述词,定量的描述都是可以用数字来量化处理。举个例子: 定性:博主很胖、博主很瘦定量:博主有80kg、博主有60kg对定量特征二值化
$ \2 V/ A7 Q, h' n8 |0 T ~ 定量特征二值化的核心在于设定一个阈值,大于阈值的赋值为1,小于等于阈值的赋值为0,公式表达如下:
% P6 S; y9 q, ^* j- t0 S2 { {threshold} \\ 0 & ,{x} \leq {threshold} \end{cases} \\">,,x′=={1,x>threshold0,x≤threshold {x} == \begin{cases} 1 & , x > {threshold} \\ 0 & ,{x} \leq {threshold} \end{cases} \\ 1 H: k: e, F( R& k
使用preproccessing库的Binarizer类对数据进行二值化,代码如下: ) G. D5 w* O0 o( \
from sklearn.preprocessing import Binarizer
1 e" o; o0 b. _: u; P4 o/ y+ x/ U. w$ I* k
# 二值化,阈值设置为3,返回值为二值化后的数据
# A7 J! G7 {7 ~9 y7 J binary = Binarizer(threshold=3).fit_transform(iris.data): v" p i2 f o$ p7 @& \7 A
print(binary[:1,:]) # [[1., 1., 0., 0.]]
) B# Y( B7 `8 k8 h( A- D , Q% p2 y) ?! E6 F1 g
对定性特征独热编码
- `) x) Z6 Q8 g7 K6 z4 A 你的变量不是定量特征的时候,是无法拿去进行训练模型的。独热编码主要是针对定性的特征进行处理,然后得到可以用来训练的特征。
" u5 N# g6 Q c3 m' v 由于IRIS数据集的特征皆为定量特征,故使用其目标值进行独热编码(实际上是不需要的)。
: G( e6 k8 [' `- @9 j7 {& Q" d 使用preproccessing库的OneHotEncoder类对数据进行独热编码,代码如下: 1 R& r7 h2 [( p5 c' V* L
# 独热编码,对IRIS数据集的目标值,返回值为独热编码后的数据
: |( L) r& f4 T- e8 w+ z# Y8 x from sklearn.preprocessing import OneHotEncoder0 ~, p$ {6 d1 \' C; |; X
import pandas as pd! O) s* z& w0 X1 A
1 I; U7 z4 d1 D4 R* Y
print(iris.target.reshape(-1,1).shape) # (150, 1)
6 q k, f7 u0 Z% O4 F; {. O one_hot = OneHotEncoder().fit_transform(iris.target.reshape(-1,1))
) E: l1 F; T; `( W print(one_hot.shape) # (150, 3)7 h$ f( c$ e% l. O$ B
& u {1 ]' X h; N' [ h; P% q
dummy = pd.get_dummies(iris.target)
2 o, C& v8 D7 q/ K6 n6 } print(dummy.shape) # (150, 3)
Q: t" A# |. T0 T* U& }
6 a( J9 w4 N c- v7 ], e 缺失特征值补全: s; ^* V$ L+ k" |" u& } t) I
由于IRIS数据集没有缺失值,故对数据集新增一个样本,4个特征均赋值为NaN,表示数据缺失。 & P4 p0 G& ] L2 w; m0 v" @
使用preproccessing库的SimpleImputer类对数据进行缺失值补全,代码如下: ( C$ @/ F% O6 @% j$ @6 V' ?
from numpy import vstack, array, nan
6 ]- g3 B! U- u( R5 C' a # 缺失值计算,返回值为计算缺失值后的数据
' L$ t; V% F# x- h# {5 E from sklearn.impute import SimpleImputer
5 R- `. n/ o% A5 v9 p- l8 C7 g+ c$ E' T9 [
# 参数missing_value为缺失值的表示形式,默认为NaN
7 `2 r2 f& P% Q' K2 q # 参数strategy为缺失值填充方式,默认为mean(均值)2 E4 @/ @7 W) ^2 L; B: s
imputer = SimpleImputer(missing_values=nan, strategy = "mean")* Z2 ~; r1 Y) J- k, g; Q
1 h* i; F) I; {$ R5 L/ X( F* B
data = vstack((array([nan, nan, nan, nan]), iris.data))
. @7 z% {% ~ H% j- [ print(data[0:1,:]) # [[nan nan nan nan]], X; b: \! \0 x/ F, m
result = imputer.fit_transform(data)1 @' d2 W4 e) e+ Q+ V1 h' a( v
print(result[0:1,:]) # [[5.84333333 3.05733333 3.758 1.19933333]]
2 E8 V' h. f. H5 n; ` . {# D* C% l2 C- d5 h( m$ `# B+ U
数据变换
/ G3 Z7 e8 d9 L) x0 j. P 常见的数据变换有基于多项式的、基于指数函数的、基于对数函数的。
& R. t- l5 C$ a" [3 O5 T1 v d% x9 i 基于多项式的数据变换
( {3 h2 J- b" `& z, i% \' M 将少数几个特征转换成更多的特征,来增加模型的复杂度。
: S# g( V7 J9 D6 ]$ `& g 2个特征(X1,X2X_1, X_2),多项式次数为2的多项式转换公式如下: * m+ A1 I. u4 k
(X1′,X2′,X3′,X4′,X5′,X6′)=(1,X1,X2,X12,X1X2,X22)(X_1,X_2,X_3,X_4,X_5,X_6)= (1, X_1, X_2, X_1^2, X_1X_2, X_2^2) \\ 0 b6 K/ v/ J+ ~! ?. l. D8 h
使用preproccessing库的PolynomialFeatures类对数据进行多项式转换,代码如下: ( M9 `) \1 X* S) P. H7 t7 a7 t
from sklearn.preprocessing import PolynomialFeatures # 多项式转换
% Z; P$ k7 {5 |, z # 参数degree,默认值为2' C7 {; h6 e% D& e% j- N
ploy = PolynomialFeatures().fit_transform(iris.data)
# k, U6 L4 N7 t I4 u7 F; q- v6 X print(ploy.shape) # (150, 15)9 g+ A3 W D! n) J7 m
print(ploy[:1,:]) # [[ 1. 5.1 3.5 1.4 0.2 26.01 17.85 7.14 1.02 12.25 4.9 0.7 1.96 0.28 0.04]]
8 _" K' n1 A7 ^# h+ o' S + d t( I1 M0 `3 L9 ?
PolynomialFeatures类的参数说明: degree:控制多项式的次数;interaction_only:默认为 False,如果指定为 True,那么就不会有特征自己和自己结合的项,组合的特征中没有类似于X12X_1^2 和 X22X_2^2 的项;include_bias:默认为 True ,如果为 True 的话,那么结果中就会有 0 次幂项,即全为 1 这一列。如果interaction_only=True,3个特征(X1,X2,X3)(X_1, X_2, X_3),多项次数为2的多项式转换公式如下: 1 C0 W+ b8 J: B( P+ l
(X1′,X2′,X3′,X4′,X5′,X6′,X7′,X8′)=(1,X1,X2,X3,X1X2,X1X3,X2X3,X1X2X3)(X_1,X_2,X_3,X_4,X_5,X_6,X_7,X_8)=(1, X_1, X_2, X_3, X_1X_2, X_1X_3, X_2X_3, X_1X_2X_3) \\ ) j" R- d2 \0 I: `
基于对数函数的数据变换2 t. a$ c' z( ?, Z, O$ t
对数函数的数据变换是一个基于单变元函数的数据变换。 : C+ I% ]6 h/ M
使用preproccessing库的FunctionTransformer对数据进行对数函数转换,代码如下: ! t- ]: y* d" D. R9 x7 B. @
from numpy import log1p
- U( I, K0 d# W: |% J from sklearn.preprocessing import FunctionTransformer6 n2 }+ p3 |5 z7 ]+ M
# FunctionTransformer:自定义预处理函数,进行特征映射0 Y6 w4 Z6 x! m
# 这里使用自定义转换函数进行对数函数的数据变换; @1 L& V. o5 X* U) k- `' s2 U
# 第一个参数是单变元函数' H! u; Z" I; x2 k( e; Q: O
log_one = FunctionTransformer(log1p).fit_transform(iris.data)
* N/ c7 O2 d5 p3 W7 ~ print(log_one.shape) # (150, 4)5 F5 f7 Z4 K/ J, ^8 C6 [. q9 H
print(log_one[:1,:]) # [[1.80828877 1.5040774 0.87546874 0.18232156]]9 o% D" g, |6 n2 M* X' c
: a4 R- K8 B& {0 t3 T" K) t
总结 v% u1 \; p( A" H$ {
数据预处理是为了得到整洁的数据,让模型能读懂且更好地学习数据,但预处理过程绝不仅仅只是以上的内容,很多处理过程与数据分析目的紧密结合的,本文只是简要的介绍一些常见的数据预处理方法。如下表格所示: ! [5 B* ^$ g" A% _/ c
: Z( N6 u1 e7 l1 F' O1 U. ~, B7 a
参考文章sklearn offical docssklearn中的数据预处理和特征工程使用sklearn做特征工程标准化、归一化、正则化
" P# H- l S8 i8 v l1 X2 [4 ]
) ]8 }1 T5 j. H, W' S0 [: E* ~
% ?0 z1 q; s0 P4 z3 U- N6 I0 B4 [# P5 |$ Z
' L1 H' j6 ^4 m8 L- i4 j& W% W |