关于机器学习数据挖掘中的数据预处理问题？

, p, N) O% `" F' F [, d

铁甲将军夜渡关

. z: G5 k! F3 X: w8 L

朝臣带漏五更寒

- p8 R! h! W: a

山寺日高僧未起

- q1 ~' P$ a3 c0 O% _/ Z

看来名利不如闲 啪！（醒木的声音）

+ C! A" v, C% \+ X( L4 D$ W

一周没有更新了【吃瓜】

因为了小小的科（摸）研（鱼）任务

' H2 R1 ?# P. A' R+ F/ X( A

忙

% N. Q8 k9 h9 I* l: y9 S w2 D- y$ L

都忙

# W8 P7 W' G4 u2 ]

忙点好啊（主要是早上不起床）

我们在进行数据分析时，有一个非常重要的前期操作--数据预处理

* w8 q* r5 r3 J. ]

在学习机器学习算法时，为了更好的理解算法的基本思想

# [: w3 _9 W) x; l% ~, I; C; u* t

会用到处理过的很干净的数据集

) _; Y% C( {* U" _4 h

而真实的数据中，多种多样的数据类型、输入的错误、数据的质量等等原因

% [( _" X3 ~; r% f

都可能导致无法匹配模型需求

/ M0 M! e, c6 ^: z

这时候就需要进行数据预处理工作

2 H$ R# H0 u- c% N! T

数据预处理（无量纲化）

& F8 n- K7 V. E6 [, q' I- o

把不同规格的数据转为到统一规格就是无量纲化

* y; I& u5 Y x V

比如我们判断环境参数对浮游植物的影响

22.9°的温度显然比0.044μmol/L的磷浓度有更大取值范围

这会放大温度的影响效果

数据归一化

5 u& i/ o* n6 N6 W* }

将数据收敛到[0,1]之间该过程就是数据归一化

, X8 Y1 {! G2 E1 V8 K

可以使用sklearn中preprocessing.MinMaxScaler来实现这个功能

归一化后的数据服从正态分布

from sklearn.preprocessing import MinMaxScaler 2 @! C' R0 W5 V( x6 a" ~: x' a l def mm(): 8 e0 ?* H4 ]( b3 X6 R, F """ 4 Q6 c$ P4 k0 N/ O 归一化处理 4 e& l1 o- ]5 K! q; a- W! U """ # 实例化MinMaxScaler函数，不填写feature_range参数默认为0,1 6 {, i z) l+ I mm = MinMaxScaler(feature_range=(2, 3)) & i& @% b4 G9 h: |2 M' x5 j. e$ j data = mm.fit_transform([[90,2,10,40],[60,4,15,45],[75,3,13,46]]) print(data) return None , S! n" j, C; I- r4 f; p* Q ' F- }/ W1 G7 g# a if __name__ == "__main__": 8 V# [& y: X& u0 O4 Q: I mm() : |1 ]5 M) Z6 q- h; m: |

4 U# z+ `5 L Y

数据标准化

标准化后的数据服从均值为0方差为1的正态分布

from sklearn.preprocessing import StandardScaler : t; d4 |4 t. \5 t: e' ?9 g: }! V # x = x-mean/γ mean：平均值 γ：标准差 # 方差 = (x1-mean)²+(x2-mean)²+(xn-mean)² / n 标准差 = 方差开根号 # 优点，不易受异常数据印象 ' g7 S2 h$ J+ H4 C. I2 E 8 q0 t" j; z1 i% E# u) }3 z # 一个目标变量由多个特征变量影响，当一个特征变量很大时，影响程度更大，所以我们进行标准化，消除这样的影响 2 |6 u- R. C' l: o; w% {# L0 } def stand(): """ 标准化缩放 """ std = StandardScaler() & W# G6 g" p' s* v4 \+ J3 N( | pre_data = [[ 1000., -1., 3.],[ 2000., 4., 2.],[ 4000., 6., -1.]] / |$ k- S& B: s* e1 Y6 u ! _' p4 G! _3 o: L+ U data = std.fit_transform(pre_data) print((1000-2000)) print(pre_data) print(data) , ]- v) Y. g" @: O1 `6 `8 _7 o0 } return None - f, S% j" g) H$ T1 e2 A if __name__ == "__main__": stand()

k8 g, C+ E9 }7 I1 T, D

下一期讲一讲特征工程

: k0 [7 K9 Q4 M$ B) C) Y y( \% p

关注我【生物海洋计算机支线】，获得更多生物海洋学，数据处理，作图等相关知识

. q! L8 ]4 q3 }5 A1 u$ t

! c2 I% b$ W, G4 ]# J. B- L4 D ( l6 o& J* z) C# e9 \ 3 V( T) r4 M2 F3 ~