2 {; L& F2 W2 F! l8 D! I
简介 ~, {) t. Q0 ?- v8 T
通过特征提取,我们能得到未经处理的特征,这时的特征可能有以下问题: 不属于同一量纲:即特征的规格不一样,不能够放在一起比较。无量纲化可以解决这一问题。信息冗余:对于某些定量特征,其包含的有效信息为区间划分,例如学习成绩,假若只关心“及格”或不“及格”,那么需要将定量的考分,转换成“1”和“0”表示及格和未及格。二值化可以解决这一问题。定性特征不能直接使用:某些机器学习算法和模型只能接受定量特征的输入,那么需要将定性特征转换为定量特征。最简单的方式是为每一种定性值指定一个定量值,但是这种方式过于灵活,增加了调参的工作。通常使用哑编码的方式将定性特征转换为定量特征。 假设有N种定性值,则将这一个特征扩展为N种特征,当原始特征值为第i种定性值时,第i个扩展特征赋值为1,其他扩展特征赋值为0。哑编码的方式相比直接指定的方式,不用增加调参的工作,对于线性模型来说,使用哑编码后的特征可达到非线性的效果。存在缺失值:缺失值需要补充。信息利用率低:不同的机器学习算法和模型对数据中信息的利用是不同的,之前提到在线性模型中,使用对定性特征哑编码可以达到非线性的效果。类似地,对定量变量多项式化,或者进行其他的转换,都能达到非线性的效果。下面我们使用sklearn中的preproccessing库来进行数据预处理,以覆盖上面遇到的问题。
8 I2 a: S) b- U, r: _" u 数据集准备$ D' W% P7 \9 U, _6 d0 C4 H9 T; z
首先,加载IRIS数据集,代码如下所示。 * @4 X; X9 l* F; a
from sklearn.datasets import load_iris # 导入IRIS数据集
2 Z* N$ o4 ]; L import numpy as np
9 ^/ i: ~/ a: t, v
% N% H8 L# y$ Y7 z1 e! U) t8 W iris = load_iris() # 特征矩阵/ V1 L* O. h% M4 g4 u( ]5 F
print(iris.data.shape) # (150, 4)# B- _& B% `9 B) D* y; p x
print(iris.data[:1,:]) # [[5.1 3.5 1.4 0.2]]
y0 F( v3 _0 X1 s( ]% m print(np.unique(iris.target)) # [0 1 2]
^( b) x) h) j0 L( p
5 u; C2 e( o* r3 K6 E$ o8 Y" l 无量纲化" N, E3 L" J9 \' ?' N
无量纲化是使不同规格的数据转换到同一规格,或不同分布的数据转换到某个特定分布。 * o7 B+ w& X; Y$ i
在以梯度和矩阵为核心的算法中,譬如逻辑回归,支持向量机,神经网络,无量纲化可以加快求解速度;而在距离类模型,譬如K近邻,K-Means聚类中,无量纲化可以帮我们提升模型精度,避免某一个取值范围特别大的特征对距离计算造成影响。 / y: y8 K T D- z( F6 r
常见的无量纲化方法有标准化、区间缩放法。 ! v% Q# G% M. K' R/ z9 \3 ^ K& i
标准化的前提是特征值服从正态分布,标准化后,其转换成标准正态分布。区间缩放法利用了边界值信息,将特征的取值区间缩放到某个特点的范围,例如[0, 1]等。量纲与无量纲的区别
2 C- P! K9 m8 x. y 量纲:物理量的大小与单位有关。比如,1块钱和1分钱,就是两个不同的量纲,因为度量的单位不同了。 , n/ H. `; x- k7 D! }3 L6 {* H
无量纲:物理量大小与单位无关。比如,角度、增益、两个长度之比等。
( u1 w8 v& G8 h5 H" w6 A 标准化-零均值标准化(zero-mean normalization)- r# @0 l5 A% T' K
标准化是依照特征矩阵的列处理数据,其通过求z-score的方法,将样本的特征值转换到同一量纲下。
/ N" t$ ]: v' W: S 简而言之,标准化将连续性变量转变为均值0、标准差1的变量,标准化需要计算特征的均值和标准差,其公式表达为: # \) [. S5 p1 ?: ]
,其中是均值,是标准差x′=x−x¯σ,其中x¯是均值,σ是标准差{x}=\frac{x-\overline{x}}{\sigma} ,其中\overline{x}是均值,{\sigma}是标准差 \\ 8 I3 _* a/ g5 Q& _
常用于基于正态分布的算法,比如回归。
/ B- t- H2 v) J; ^ 使用preproccessing库的StandardScaler(基于特征矩阵的列,将属性值转换至服从正态分布)类对数据进行标准化,代码如下:
0 Y$ Y5 A2 i4 c4 g from sklearn.preprocessing import StandardScaler
! f. D" I$ I! O/ s C# m1 \2 }: m" l
, z8 y M: _5 v! a7 j3 M9 ~$ I) N. P1 D # 标准化,返回值为标准化后的数据, B# y7 N* |& N6 \! h
standard = StandardScaler().fit_transform(iris.data) \+ Y' c1 l2 k$ Y( ^7 W
print(standard[:1,:]) # [[-0.90068117, 1.01900435, -1.34022653, -1.3154443 ]]
' J3 ]/ Z; B. B7 b" G8 v
# v3 c/ {. x5 A8 B* r0 s# i 归一化-区间缩放法
. O" W' l2 r7 D4 d S$ _, ~ 区间缩放法的思路有多种,常见的一种为利用两个最值进行缩放,把原始的连续型变量转换为范围在 [a,b] 或者 [0,1] 之间的变量,公式表达为: % f( \6 c1 _- a+ j5 L; ?
x′=x−min(x)max(x)−min(x){x}=\frac{x-\mathit{min}(x)}{\mathit{max}(x)-\mathit{min}(x)} \\
; F8 R( T& e( c! _! F8 I 区间缩放可以提升模型收敛速度,提升模型精度。
4 R! {6 l/ L* u* o9 y' T% a7 n 常见用于神经网络。 $ H m1 V9 K; _+ P1 h
使用preproccessing库的MinMaxScaler(基于最大最小值,将数据转换到[0,1]区间上的)类对数据进行区间缩放,代码如下: ) {8 h4 p+ Y @* ]
# 区间缩放,返回值为缩放到[0, 1]区间的数据
2 S* h% u! H2 h% | from sklearn.preprocessing import MinMaxScaler
" p+ w( o) H* } s5 o6 X% q8 @) `% W* I* | U9 a
min_max = MinMaxScaler().fit_transform(iris.data)
3 d" I1 Q% |3 n print(min_max[:1,:]) # [[0.22222222, 0.625 , 0.06779661, 0.04166667]]
5 S8 O A4 \- I3 P $ a+ ]4 b9 v+ w) T& q
正则化(Normalization)
' R1 @# x9 i) j 正则化的过程是将每个样本缩放到单位范数(每个样本的范数为1),正则化的目的在于样本向量在点乘运算或其他核函数计算相似性时,拥有统一的标准。例如,对于两个TF-IDF向量的l2-norm进行点积,就可以得到这两个向量的余弦相似性。 ) b7 H- o5 Z/ x- v6 C& N6 z& W% d
常见用于文本分类和聚类。
8 }# D( y Y* j) x8 p Normalization主要思想是对每个样本计算其p-范数,然后对该样本中每个元素除以该范数,这样处理的结果是使得每个处理后样本的p-范数(l1-norm, l2-norm)等于1。即Normalization的过程是将每个样本缩放到单位范数(结合单位向量进行理解,p=2p=2时为单位向量,其他为单位范数)
! L" o9 R) g0 F2 S. A LpL_p范数的计算公式如下所示:
* U8 {9 [! M8 d8 I6 { ||X||p=(|x1|p+|x2|p+...+|xn|p)1p||X||_p = (|x_1|^p+|x_2|^p+...+|x_n|^p)^{\frac {1}{p}} \\ : e( O, \) R. T5 e8 T9 m z [
可见,L2L2范数即为欧式距离,则规则为L2L2的Normalization公式如下所示:
% X3 Y& ^; e+ f$ E$ f, `5 q; j x′=x∑jmxj2{x} = \frac {x} {\sqrt{\sum_j^mx_j^2}} \\
' ?9 R3 a( T Z1 X 可知,其将每行(条)数据转为相应的“单位向量”。 ! o0 I4 Q& L8 [7 Z
使用preproccessing库的Normalizer(基于矩阵的行,将样本向量转换为单位向量)类对数据进行正则化,其代码如下: * C7 v: b1 s. E
from sklearn.preprocessing import Normalizer
/ k% ]" Y' B/ G5 I; E, ^) c1 h* T2 Y1 d4 m+ L% y
norm = Normalizer(norm=l2).fit_transform(iris.data)
! U* j# ^8 V* h, D1 e4 u" K print(norm[:1,:]) # [[0.22222222, 0.625 , 0.06779661, 0.04166667]
6 `6 h: }/ @" Q * ~& z& v0 {7 w4 s7 i4 x$ V
参数说明: 8 L% \7 ^* V, T) u+ x
norm:可以为l1、l2或max,默认为l2。 若为l1时,样本各个特征值除以各个特征值的绝对值之和若为l2时,样本各个特征值除以各个特征值的平方之和若为max时,样本各个特征值除以样本中特征值最大的值标准化、归一化与正则化的区别标准化处理:把特征变量转换成均值为0,方差为1的标准正态分布归一化处理:把特征变量转换为最小值为0,最大值为1的区间正则化处理:将每个样本在所有变量上的值缩放到单位范数(即每个样本在所有变量上的值的范数为1)定性特征和定量特征的区别
6 o/ r% q3 w5 d/ S; f 一般定性都会有相关的描述词,定量的描述都是可以用数字来量化处理。举个例子: 定性:博主很胖、博主很瘦定量:博主有80kg、博主有60kg对定量特征二值化5 _- ~: k- B5 d- {, N% Y" `' K& c
定量特征二值化的核心在于设定一个阈值,大于阈值的赋值为1,小于等于阈值的赋值为0,公式表达如下: 8 L) z5 N& S5 z( d7 F
{threshold} \\ 0 & ,{x} \leq {threshold} \end{cases} \\">,,x′=={1,x>threshold0,x≤threshold {x} == \begin{cases} 1 & , x > {threshold} \\ 0 & ,{x} \leq {threshold} \end{cases} \\ # J$ D6 O; J1 `. `7 \
使用preproccessing库的Binarizer类对数据进行二值化,代码如下:
. ^5 _: B' D. P+ M) b from sklearn.preprocessing import Binarizer& P5 x- @8 H3 R' S3 W
; @- _ K; E4 p2 }4 t) M
# 二值化,阈值设置为3,返回值为二值化后的数据
( G7 b6 Y9 F% q* q binary = Binarizer(threshold=3).fit_transform(iris.data) q- O2 w; s S. h
print(binary[:1,:]) # [[1., 1., 0., 0.]]
# t6 u2 U* x! M' O
6 _" s" ?! E* z$ V( @) f0 r0 d# h 对定性特征独热编码/ @, x( |& k- p8 d6 t$ b
你的变量不是定量特征的时候,是无法拿去进行训练模型的。独热编码主要是针对定性的特征进行处理,然后得到可以用来训练的特征。 ( @+ n0 B- a0 A) T: P7 P
由于IRIS数据集的特征皆为定量特征,故使用其目标值进行独热编码(实际上是不需要的)。 * u3 t5 h2 e/ a7 D! \5 i
使用preproccessing库的OneHotEncoder类对数据进行独热编码,代码如下: $ t2 c! r- R$ r! p
# 独热编码,对IRIS数据集的目标值,返回值为独热编码后的数据' J f) s* x( Q8 D$ S" X; ]( @4 [
from sklearn.preprocessing import OneHotEncoder' [% F2 ^- K7 q) k
import pandas as pd: \$ W; t' t/ g( S, n0 x' {
# V4 T% y$ G- ]/ D0 y& Y3 L4 r/ i
print(iris.target.reshape(-1,1).shape) # (150, 1)
3 @. M+ i; K) Z% ]/ Y one_hot = OneHotEncoder().fit_transform(iris.target.reshape(-1,1))
4 x1 v4 f% v2 f print(one_hot.shape) # (150, 3)
. i1 h- w0 r& r; w B% d' s: @. @: c$ N& O0 m& f( H7 q
dummy = pd.get_dummies(iris.target)
5 E" g6 f s' F print(dummy.shape) # (150, 3)* T& ?* m1 N1 v2 k+ C" e) z6 ?
. F, d; Y% W. m! M5 \ 缺失特征值补全# U9 J2 R- c. r. k1 b* p
由于IRIS数据集没有缺失值,故对数据集新增一个样本,4个特征均赋值为NaN,表示数据缺失。 . _' J" j7 }0 u0 Z4 j( s
使用preproccessing库的SimpleImputer类对数据进行缺失值补全,代码如下:
' x, g" a' N0 u& a from numpy import vstack, array, nan8 F* `- M/ U, D4 s- ?' |
# 缺失值计算,返回值为计算缺失值后的数据
- x* M( \4 F3 u' p6 d. U- {4 @ from sklearn.impute import SimpleImputer
3 A D4 @8 x* l$ ` }) I; O9 J: d& p3 ]& s8 Q( u" c
# 参数missing_value为缺失值的表示形式,默认为NaN! M h& w; M8 Q" C/ M7 j5 Y- d- ~
# 参数strategy为缺失值填充方式,默认为mean(均值)
% N( b0 t- j/ {$ p% N F$ U( A imputer = SimpleImputer(missing_values=nan, strategy = "mean")( R7 a; I) _3 D
0 `7 t" [0 C4 I' f data = vstack((array([nan, nan, nan, nan]), iris.data))
9 P& R9 H: N3 d; o% q6 n& W* s print(data[0:1,:]) # [[nan nan nan nan]]
8 w3 }: V4 F/ Q9 i# f a& Y8 _ result = imputer.fit_transform(data)# S: L6 l, w" O$ K0 z( {0 F
print(result[0:1,:]) # [[5.84333333 3.05733333 3.758 1.19933333]]
$ ?+ {$ s# } A
! {+ o# O1 T: ]: z8 p; U 数据变换9 S& I3 ~( ~0 L4 S$ `& S
常见的数据变换有基于多项式的、基于指数函数的、基于对数函数的。 , D" Q# ]6 F4 _ t, W
基于多项式的数据变换
+ ?6 b" x, b8 k7 {+ r @ 将少数几个特征转换成更多的特征,来增加模型的复杂度。 : b: w5 a: [- I7 p
2个特征(X1,X2X_1, X_2),多项式次数为2的多项式转换公式如下:
" O3 A, F, p! ~& D6 D& J' Y& t1 { (X1′,X2′,X3′,X4′,X5′,X6′)=(1,X1,X2,X12,X1X2,X22)(X_1,X_2,X_3,X_4,X_5,X_6)= (1, X_1, X_2, X_1^2, X_1X_2, X_2^2) \\ ! {! X* B3 p- @' P! p
使用preproccessing库的PolynomialFeatures类对数据进行多项式转换,代码如下: . P; [" s! L: Q2 f3 y0 K. ?
from sklearn.preprocessing import PolynomialFeatures # 多项式转换$ H2 j4 E/ ]; D+ \$ C: _5 k
# 参数degree,默认值为2
2 i1 Z* j) z! Q& w5 `; r ploy = PolynomialFeatures().fit_transform(iris.data)
$ ?, j# v$ p6 S, }" C L( t8 @ print(ploy.shape) # (150, 15)
9 H) H$ ~5 Y# o& G' r: M print(ploy[:1,:]) # [[ 1. 5.1 3.5 1.4 0.2 26.01 17.85 7.14 1.02 12.25 4.9 0.7 1.96 0.28 0.04]]9 R8 `1 L& Q% S, G, u) n
! Q9 d; o* I$ Z; f& K. O PolynomialFeatures类的参数说明: degree:控制多项式的次数;interaction_only:默认为 False,如果指定为 True,那么就不会有特征自己和自己结合的项,组合的特征中没有类似于X12X_1^2 和 X22X_2^2 的项;include_bias:默认为 True ,如果为 True 的话,那么结果中就会有 0 次幂项,即全为 1 这一列。如果interaction_only=True,3个特征(X1,X2,X3)(X_1, X_2, X_3),多项次数为2的多项式转换公式如下:
( k( v' R7 W: K2 S3 q3 y (X1′,X2′,X3′,X4′,X5′,X6′,X7′,X8′)=(1,X1,X2,X3,X1X2,X1X3,X2X3,X1X2X3)(X_1,X_2,X_3,X_4,X_5,X_6,X_7,X_8)=(1, X_1, X_2, X_3, X_1X_2, X_1X_3, X_2X_3, X_1X_2X_3) \\ ( {1 g; `. w8 g" p$ r, j3 k8 m
基于对数函数的数据变换" G4 j9 r" A1 F9 R9 w: m l% r! I
对数函数的数据变换是一个基于单变元函数的数据变换。
: [4 b2 Y' B9 \8 y: m 使用preproccessing库的FunctionTransformer对数据进行对数函数转换,代码如下:
% u& y& _' j4 L: x from numpy import log1p" {* h* x6 a- i
from sklearn.preprocessing import FunctionTransformer
/ p2 ]6 W0 c; ~1 \" i # FunctionTransformer:自定义预处理函数,进行特征映射' u7 c5 S2 D! N& l- x4 J5 T
# 这里使用自定义转换函数进行对数函数的数据变换0 P) ~+ a( _. j/ O5 p1 l8 E
# 第一个参数是单变元函数
- S0 h4 Q2 L) x7 l log_one = FunctionTransformer(log1p).fit_transform(iris.data)/ n4 l& `$ B7 B
print(log_one.shape) # (150, 4)
+ l% T+ H0 ]1 W* I" w4 L6 R: J print(log_one[:1,:]) # [[1.80828877 1.5040774 0.87546874 0.18232156]]; C* ?# x: v8 h9 }0 J
) X; a- h' v8 R: i
总结' f' R- n7 d2 m; l
数据预处理是为了得到整洁的数据,让模型能读懂且更好地学习数据,但预处理过程绝不仅仅只是以上的内容,很多处理过程与数据分析目的紧密结合的,本文只是简要的介绍一些常见的数据预处理方法。如下表格所示:
: D! r: v! q( O, D2 E ' m9 V- l& R1 _/ _9 u# Z/ g& V
参考文章sklearn offical docssklearn中的数据预处理和特征工程使用sklearn做特征工程标准化、归一化、正则化
# p g/ o% U# E% Q* G& y9 R4 i! r0 ~3 C7 _ E4 Z
& k! r& C2 O6 j% o- _# y# Q
: i) ^- r7 h* g2 v2 _3 T9 q0 b1 v# D! n; ^# _
|