浅析sklearn中的数据预处理方法

[复制链接]
* ^5 m' Z r1 U4 T& q# {

简介

* |9 g% e3 v: c) F7 Q! N9 Y; K0 P# z

通过特征提取,我们能得到未经处理的特征,这时的特征可能有以下问题:

不属于同一量纲:即特征的规格不一样,不能够放在一起比较。无量纲化可以解决这一问题。信息冗余:对于某些定量特征,其包含的有效信息为区间划分,例如学习成绩,假若只关心“及格”或不“及格”,那么需要将定量的考分,转换成“1”和“0”表示及格和未及格。二值化可以解决这一问题。定性特征不能直接使用:某些机器学习算法和模型只能接受定量特征的输入,那么需要将定性特征转换为定量特征。最简单的方式是为每一种定性值指定一个定量值,但是这种方式过于灵活,增加了调参的工作。通常使用哑编码的方式将定性特征转换为定量特征。 假设有N种定性值,则将这一个特征扩展为N种特征,当原始特征值为第i种定性值时,第i个扩展特征赋值为1,其他扩展特征赋值为0。哑编码的方式相比直接指定的方式,不用增加调参的工作,对于线性模型来说,使用哑编码后的特征可达到非线性的效果。存在缺失值:缺失值需要补充。信息利用率低:不同的机器学习算法和模型对数据中信息的利用是不同的,之前提到在线性模型中,使用对定性特征哑编码可以达到非线性的效果。类似地,对定量变量多项式化,或者进行其他的转换,都能达到非线性的效果。

下面我们使用sklearn中的preproccessing库来进行数据预处理,以覆盖上面遇到的问题。

+ s9 A% E9 l9 E9 b

数据集准备

. v/ i. t! T4 y7 }! c: e

首先,加载IRIS数据集,代码如下所示。

6 B; Q( n4 v, q7 {/ F* f* \
from sklearn.datasets import load_iris # 导入IRIS数据集1 z# S, a9 m; e( H. X1 C) d8 @( q import numpy as np 0 \3 q; K4 I9 A2 t+ K% }* j& I7 e0 @! ] iris = load_iris() # 特征矩阵 0 ~; ~! Z: p9 G2 y( o- F; T print(iris.data.shape) # (150, 4) + j% b: Y# s6 ~/ ?' | print(iris.data[:1,:]) # [[5.1 3.5 1.4 0.2]] & R6 D" n% o1 _& Z# Z { print(np.unique(iris.target)) # [0 1 2] / D6 I4 [+ r+ @
, q/ t% q* r: \5 K$ G

无量纲化

9 n# P! _! i1 U" ]

无量纲化是使不同规格的数据转换到同一规格,或不同分布的数据转换到某个特定分布。

$ z- [1 [" Y+ ^7 I# H

在以梯度和矩阵为核心的算法中,譬如逻辑回归,支持向量机,神经网络,无量纲化可以加快求解速度;而在距离类模型,譬如K近邻,K-Means聚类中,无量纲化可以帮我们提升模型精度,避免某一个取值范围特别大的特征对距离计算造成影响。

( `( S1 \ r1 Q: K

常见的无量纲化方法有标准化、区间缩放法。

- G1 k. l& X( x5 l0 d& J. z

标准化的前提是特征值服从正态分布,标准化后,其转换成标准正态分布。区间缩放法利用了边界值信息,将特征的取值区间缩放到某个特点的范围,例如[0, 1]等。量纲与无量纲的区别

4 v/ J8 ]! v7 T) A

量纲:物理量的大小与单位有关。比如,1块钱和1分钱,就是两个不同的量纲,因为度量的单位不同了。

! t* P/ T2 h0 t: T# v3 ~! m

无量纲:物理量大小与单位无关。比如,角度、增益、两个长度之比等。

4 X& i2 g, G7 x

标准化-零均值标准化(zero-mean normalization)

/ M \: \! `; O- f5 P4 e

标准化是依照特征矩阵的列处理数据,其通过求z-score的方法,将样本的特征值转换到同一量纲下。

- x% ^# |- @0 D9 R7 [1 N

简而言之,标准化将连续性变量转变为均值0、标准差1的变量,标准化需要计算特征的均值和标准差,其公式表达为:

0 k: C, c7 h& B6 }6 H* A

,其中是均值,是标准差x′=x−x¯σ,其中x¯是均值,σ是标准差{x}=\frac{x-\overline{x}}{\sigma} ,其中\overline{x}是均值,{\sigma}是标准差 \\

( p1 q0 H, M0 ?0 z

常用于基于正态分布的算法,比如回归。

: |* ]9 Y9 I* C. }7 k- j/ R8 \

使用preproccessing库的StandardScaler(基于特征矩阵的列,将属性值转换至服从正态分布)类对数据进行标准化,代码如下:

0 U1 ]7 |1 I% V
from sklearn.preprocessing import StandardScaler 6 b, `1 ?5 s# [3 f! \" @2 A ( \% c0 i5 Z4 B1 P# _% U! d # 标准化,返回值为标准化后的数据 * N3 }# K s; } z& ] standard = StandardScaler().fit_transform(iris.data)7 ~9 j8 @8 d# } print(standard[:1,:]) # [[-0.90068117, 1.01900435, -1.34022653, -1.3154443 ]]2 b' l; [& y: J
7 W6 t+ ]/ q- w. I' D6 W3 Q- l

归一化-区间缩放法

! v$ I- }, @$ ]2 P

区间缩放法的思路有多种,常见的一种为利用两个最值进行缩放,把原始的连续型变量转换为范围在 [a,b] 或者 [0,1] 之间的变量,公式表达为:

. Q( f0 m9 _1 c7 G8 P* z; W- \8 T9 J; f

x′=x−min(x)max(x)−min(x){x}=\frac{x-\mathit{min}(x)}{\mathit{max}(x)-\mathit{min}(x)} \\

/ {7 W0 ~9 z8 s

区间缩放可以提升模型收敛速度,提升模型精度。

: z% M/ H; Y. z# Z$ v2 u

常见用于神经网络。

2 B' p; }9 T5 q# x

使用preproccessing库的MinMaxScaler(基于最大最小值,将数据转换到[0,1]区间上的)类对数据进行区间缩放,代码如下:

. G% C/ `6 j3 R8 C4 J
# 区间缩放,返回值为缩放到[0, 1]区间的数据- C) E# \5 h0 K6 R! v( S! t from sklearn.preprocessing import MinMaxScaler : K; k# d; i% d0 F! J& W7 S/ f+ o7 i: z5 K2 \& _ min_max = MinMaxScaler().fit_transform(iris.data)& w; ]; ~/ p' _ print(min_max[:1,:]) # [[0.22222222, 0.625 , 0.06779661, 0.04166667]] 7 Q; V& ^* S& X) t3 ^( u; Q
i' N! K) t6 t/ i. H

正则化(Normalization)

0 H! |6 X5 G& o0 y, H) t: f: ^' \& v; h

正则化的过程是将每个样本缩放到单位范数(每个样本的范数为1),正则化的目的在于样本向量在点乘运算或其他核函数计算相似性时,拥有统一的标准。例如,对于两个TF-IDF向量的l2-norm进行点积,就可以得到这两个向量的余弦相似性。

. N3 t4 y9 Y7 @: u+ m

常见用于文本分类和聚类。

' i# X6 N$ d% C

Normalization主要思想是对每个样本计算其p-范数,然后对该样本中每个元素除以该范数,这样处理的结果是使得每个处理后样本的p-范数(l1-norm, l2-norm)等于1。即Normalization的过程是将每个样本缩放到单位范数(结合单位向量进行理解,p=2p=2时为单位向量,其他为单位范数)

' a( M& B5 X! R& l

LpL_p范数的计算公式如下所示:

" Q! ?; ?- Z) ~0 K/ t

||X||p=(|x1|p+|x2|p+...+|xn|p)1p||X||_p = (|x_1|^p+|x_2|^p+...+|x_n|^p)^{\frac {1}{p}} \\

% B- H0 l4 r$ I2 }1 Z0 n4 K5 @6 y

可见,L2L2范数即为欧式距离,则规则为L2L2的Normalization公式如下所示:

$ H5 u1 {% I5 Y

x′=x∑jmxj2{x} = \frac {x} {\sqrt{\sum_j^mx_j^2}} \\

$ Y( y$ W1 C+ ]" h7 S# e& f

可知,其将每行(条)数据转为相应的“单位向量”。

1 q: f1 y. x, w

使用preproccessing库的Normalizer(基于矩阵的行,将样本向量转换为单位向量)类对数据进行正则化,其代码如下:

/ l% [8 `" s$ `3 ~* D
from sklearn.preprocessing import Normalizer ( i+ L( ` w4 e5 X8 A/ q; o0 v / ]# m" t+ s1 o* e: o1 N+ D norm = Normalizer(norm=l2).fit_transform(iris.data)* g% r+ ]5 @$ Y8 K v, \; B print(norm[:1,:]) # [[0.22222222, 0.625 , 0.06779661, 0.04166667] , B% L5 p7 u; J
7 ~; B& h3 j5 {6 d( Q

参数说明:

7 _& c/ f9 l4 D2 h, z: L* l' F

norm:可以为l1、l2或max,默认为l2。

若为l1时,样本各个特征值除以各个特征值的绝对值之和若为l2时,样本各个特征值除以各个特征值的平方之和若为max时,样本各个特征值除以样本中特征值最大的值

标准化、归一化与正则化的区别

标准化处理:把特征变量转换成均值为0,方差为1的标准正态分布归一化处理:把特征变量转换为最小值为0,最大值为1的区间正则化处理:将每个样本在所有变量上的值缩放到单位范数(即每个样本在所有变量上的值的范数为1)

定性特征和定量特征的区别

5 \$ |& ?) e) F. v

一般定性都会有相关的描述词,定量的描述都是可以用数字来量化处理。举个例子:

定性:博主很胖、博主很瘦定量:博主有80kg、博主有60kg

对定量特征二值化

5 y- `4 F& ], i' T

定量特征二值化的核心在于设定一个阈值,大于阈值的赋值为1,小于等于阈值的赋值为0,公式表达如下:

" | {) Y- z& P; l3 |

{threshold} \\ 0 & ,{x} \leq {threshold} \end{cases} \\">,,x′=={1,x>threshold0,x≤threshold {x} == \begin{cases} 1 & , x > {threshold} \\ 0 & ,{x} \leq {threshold} \end{cases} \\

# t, c( q- U, A5 D

使用preproccessing库的Binarizer类对数据进行二值化,代码如下:

_" g6 p% E5 n' A& `4 X# v
from sklearn.preprocessing import Binarizer! u) }2 D4 [5 g. l2 l6 _ * @, h2 H8 }2 B, k$ f/ S, t) O: Q # 二值化,阈值设置为3,返回值为二值化后的数据' o: {; {/ ?/ w7 ]$ S binary = Binarizer(threshold=3).fit_transform(iris.data) ) u% B$ A8 K! x5 |' K/ e1 z print(binary[:1,:]) # [[1., 1., 0., 0.]]7 d. d/ G. e( P. u2 B: F/ z: o
* H0 }: j: k( c

对定性特征独热编码

: j+ }$ l+ i! m* I* b- Q

你的变量不是定量特征的时候,是无法拿去进行训练模型的。独热编码主要是针对定性的特征进行处理,然后得到可以用来训练的特征。

( [% l8 o* o* W' f( a: g3 c

由于IRIS数据集的特征皆为定量特征,故使用其目标值进行独热编码(实际上是不需要的)。

2 U% Y% M& t) t0 G% o5 y0 I5 `# S; B+ }

使用preproccessing库的OneHotEncoder类对数据进行独热编码,代码如下:

1 W+ r6 u9 @, ]4 ~2 G# P& Q a
# 独热编码,对IRIS数据集的目标值,返回值为独热编码后的数据 ; W6 f. Z% f( m! C8 e from sklearn.preprocessing import OneHotEncoder1 O' M9 h% B- W5 s# u+ B; }$ T import pandas as pd * o2 G8 V4 W) g, v. x: v1 m; H4 ^+ r( ^- Z2 }0 C' ~9 n print(iris.target.reshape(-1,1).shape) # (150, 1) }# ~8 O1 j, U. x" E5 r! p0 f one_hot = OneHotEncoder().fit_transform(iris.target.reshape(-1,1))9 B# |, o+ Z; I! D print(one_hot.shape) # (150, 3) " X: M ? l% K8 U1 e; h( V, G" i( c @- N+ }3 n dummy = pd.get_dummies(iris.target)- G9 `. k/ {7 z5 w) u6 J print(dummy.shape) # (150, 3)/ b1 A. c2 j- h, _' J. v1 {" g
7 O5 [4 N j# ]& v+ ^

缺失特征值补全

- q. m, [9 R% @7 L6 q5 D

由于IRIS数据集没有缺失值,故对数据集新增一个样本,4个特征均赋值为NaN,表示数据缺失。

5 @- t+ O$ \8 M( S( u) Y) ?1 ^

使用preproccessing库的SimpleImputer类对数据进行缺失值补全,代码如下:

n. i3 S( N8 U$ v+ b* J, m: I
from numpy import vstack, array, nan4 d! q$ h8 G7 j1 t) f' @ # 缺失值计算,返回值为计算缺失值后的数据# k, ?7 e) p7 [4 x) ` D0 Q from sklearn.impute import SimpleImputer s) z( i7 y- ] c6 |! d6 [6 o! [ ) r! U3 e' ^/ I( G" o6 i # 参数missing_value为缺失值的表示形式,默认为NaN) y/ \0 C3 ~" E4 N% x" J # 参数strategy为缺失值填充方式,默认为mean(均值) + c: y, C# m: X5 n- R" j4 s imputer = SimpleImputer(missing_values=nan, strategy = "mean")) f5 G: B5 P: F* [$ B/ |- G# y. Z# A $ `3 U0 j# }5 @- v' y. G$ i data = vstack((array([nan, nan, nan, nan]), iris.data)): C) t8 y, h/ q1 V8 E print(data[0:1,:]) # [[nan nan nan nan]] 5 h5 y9 q- y3 g/ M r result = imputer.fit_transform(data) c: W' A6 ^, \) c, r print(result[0:1,:]) # [[5.84333333 3.05733333 3.758 1.19933333]] ) M0 J3 s) \& l3 L: d( G, M$ F
/ y1 \8 y j5 }# |* g9 P( t

数据变换

2 D) y2 W) l3 \: Y& g. ^2 ]

常见的数据变换有基于多项式的、基于指数函数的、基于对数函数的。

^! J/ Y" M' T8 Z, D

基于多项式的数据变换

# z# y3 ?1 J8 r9 e4 G0 w6 I

将少数几个特征转换成更多的特征,来增加模型的复杂度。

/ m0 V( B9 z% o, l3 }! S

2个特征(X1,X2X_1, X_2),多项式次数为2的多项式转换公式如下:

3 J" R3 ]% R+ J, ? }8 o

(X1′,X2′,X3′,X4′,X5′,X6′)=(1,X1,X2,X12,X1X2,X22)(X_1,X_2,X_3,X_4,X_5,X_6)= (1, X_1, X_2, X_1^2, X_1X_2, X_2^2) \\

~5 J! |1 }3 D' [/ V% c, M, Z. A

使用preproccessing库的PolynomialFeatures类对数据进行多项式转换,代码如下:

6 [! {. h% w% `* q
from sklearn.preprocessing import PolynomialFeatures # 多项式转换1 I: Q0 p( |( ]/ L* R* q # 参数degree,默认值为23 o! A, n3 i/ ~1 p ploy = PolynomialFeatures().fit_transform(iris.data) $ J- M7 \% J; A* W print(ploy.shape) # (150, 15) 5 j: {2 s" o0 M! H& J9 U6 G. k print(ploy[:1,:]) # [[ 1. 5.1 3.5 1.4 0.2 26.01 17.85 7.14 1.02 12.25 4.9 0.7 1.96 0.28 0.04]]7 i0 `7 C1 ~% A( {* g
0 ^' Q/ M' i9 x& ?( N6 [4 p

PolynomialFeatures类的参数说明:

degree:控制多项式的次数;interaction_only:默认为 False,如果指定为 True,那么就不会有特征自己和自己结合的项,组合的特征中没有类似于X12X_1^2X22X_2^2 的项;include_bias:默认为 True ,如果为 True 的话,那么结果中就会有 0 次幂项,即全为 1 这一列。

如果interaction_only=True,3个特征(X1,X2,X3)(X_1, X_2, X_3),多项次数为2的多项式转换公式如下:

$ Y7 V- s4 c3 G4 K, v3 J

(X1′,X2′,X3′,X4′,X5′,X6′,X7′,X8′)=(1,X1,X2,X3,X1X2,X1X3,X2X3,X1X2X3)(X_1,X_2,X_3,X_4,X_5,X_6,X_7,X_8)=(1, X_1, X_2, X_3, X_1X_2, X_1X_3, X_2X_3, X_1X_2X_3) \\

. E- T A# r2 f$ T, M s

基于对数函数的数据变换

6 h" I/ b* p/ y! d7 d! C9 Y

对数函数的数据变换是一个基于单变元函数的数据变换。

: `& `( B1 g2 z" Z& v! ^! N7 c

使用preproccessing库的FunctionTransformer对数据进行对数函数转换,代码如下:

6 \! s& P- _5 q O
from numpy import log1p ) g9 B& @2 b. B' U0 m4 K0 [ from sklearn.preprocessing import FunctionTransformer8 S3 M. {' u+ J* {) V! C # FunctionTransformer:自定义预处理函数,进行特征映射. V' g% j/ U4 K2 I1 D$ q7 z # 这里使用自定义转换函数进行对数函数的数据变换5 n' F* B- j; w+ m5 k4 \& d # 第一个参数是单变元函数 8 `2 s9 D: S- a/ C6 i7 F9 I/ o' z log_one = FunctionTransformer(log1p).fit_transform(iris.data)8 {! m+ \$ ^9 u! C" s# Q. k( I$ Y& Y print(log_one.shape) # (150, 4)' L) L+ d2 V" `4 L print(log_one[:1,:]) # [[1.80828877 1.5040774 0.87546874 0.18232156]]! g5 M& |: W7 `
$ g3 b/ ~6 @5 h7 W2 b, o8 `6 x, Z

总结

2 e& F$ a9 v n: t2 Y! m ?3 U

数据预处理是为了得到整洁的数据,让模型能读懂且更好地学习数据,但预处理过程绝不仅仅只是以上的内容,很多处理过程与数据分析目的紧密结合的,本文只是简要的介绍一些常见的数据预处理方法。如下表格所示:

1 w$ q% L& c4 J& |9 |- J9 [( i
7 Q* I) G1 i. G2 b6 _: b

参考文章

sklearn offical docssklearn中的数据预处理和特征工程使用sklearn做特征工程标准化、归一化、正则化 + K( i. X- Z5 R& ]/ G+ [& A& @# |& [7 Z6 J- ^, h; j0 z 7 y4 R5 q. {: |" Z6 v# | % L+ ^- K% V& G3 \. C 4 C; m: `* r* {% ?$ H" X! X
回复

举报 使用道具

相关帖子

全部回帖
暂无回帖,快来参与回复吧
懒得打字?点击右侧快捷回复 【吾爱海洋论坛发文有奖】
您需要登录后才可以回帖 登录 | 立即注册
快速回复 返回顶部 返回列表