关于机器学习数据挖掘中的数据预处理问题？

铁甲将军夜渡关

朝臣带漏五更寒

山寺日高僧未起

1 X% ^( J2 T8 C' O* {: R

看来名利不如闲 啪！（醒木的声音）

一周没有更新了【吃瓜】

3 Q" ^3 B+ g7 `9 g

因为了小小的科（摸）研（鱼）任务

5 o3 x) x- h+ q2 W" ^4 R6 L

忙

都忙

, @- V t$ K/ g1 j! i

忙点好啊（主要是早上不起床）

我们在进行数据分析时，有一个非常重要的前期操作--数据预处理

在学习机器学习算法时，为了更好的理解算法的基本思想

会用到处理过的很干净的数据集

而真实的数据中，多种多样的数据类型、输入的错误、数据的质量等等原因

都可能导致无法匹配模型需求

" q0 `" D$ Y( m( \* U

这时候就需要进行数据预处理工作

; e' L' j7 r2 D/ S3 g r: C

数据预处理（无量纲化）

把不同规格的数据转为到统一规格就是无量纲化

比如我们判断环境参数对浮游植物的影响

$ U d0 W& a5 v" v9 C

22.9°的温度显然比0.044μmol/L的磷浓度有更大取值范围

这会放大温度的影响效果

+ X( ` e1 m* ~( ^9 U9 Z" _6 N

数据归一化

9 T' [% I8 [; i

将数据收敛到[0,1]之间该过程就是数据归一化

" u; _1 f6 Q4 A* l1 b4 W5 i

可以使用sklearn中preprocessing.MinMaxScaler来实现这个功能

归一化后的数据服从正态分布

" n; x$ q8 `4 E1 D+ H

from sklearn.preprocessing import MinMaxScaler ; X0 _6 E( O8 L def mm(): """ 归一化处理 # c) Z Y; y4 e% ^6 _4 U """ # 实例化MinMaxScaler函数，不填写feature_range参数默认为0,1 , e* f4 N2 c2 c P2 \5 Z$ q+ n mm = MinMaxScaler(feature_range=(2, 3)) 8 r* { l; f h' F. S( I; k data = mm.fit_transform([[90,2,10,40],[60,4,15,45],[75,3,13,46]]) ! ^8 d6 Q2 M9 |& W# `' h; Y print(data) + z6 P4 @1 C8 l 7 U) \; @. P: Y8 }8 U1 }+ s return None if __name__ == "__main__": , x2 \9 U, v6 R mm() # u8 Y0 u4 Q# ]+ H3 C: t; o

& M9 H: v9 \9 D5 ]7 t% s; x" v, A. e, ?

数据标准化

) m$ S0 c$ X7 r

标准化后的数据服从均值为0方差为1的正态分布

# P$ r. U# W" S$ Q# C

from sklearn.preprocessing import StandardScaler # x = x-mean/γ mean：平均值 γ：标准差 ; [5 C+ M4 W$ _/ M6 ` # 方差 = (x1-mean)²+(x2-mean)²+(xn-mean)² / n 标准差 = 方差开根号 # 优点，不易受异常数据印象 V: S& L& [# W0 t- s f: p9 E; K ) C" r! H! M& {& Q0 N+ K d # 一个目标变量由多个特征变量影响，当一个特征变量很大时，影响程度更大，所以我们进行标准化，消除这样的影响 def stand(): """ " H3 u) i9 F# N3 G! o( p 标准化缩放 ( Q4 [0 Z/ |6 D @! q' ~ """ std = StandardScaler() pre_data = [[ 1000., -1., 3.],[ 2000., 4., 2.],[ 4000., 6., -1.]] data = std.fit_transform(pre_data) print((1000-2000)) print(pre_data) print(data) 4 s, M% W5 I, D9 p; Z: N; l return None if __name__ == "__main__": stand()

下一期讲一讲特征工程

关注我【生物海洋计算机支线】，获得更多生物海洋学，数据处理，作图等相关知识

- C2 K7 l$ ~: Q; t# ^ 2 t' Y9 k1 v* g& }% B4 O+ F& r 5 I6 l% j3 v; g) r* p ! A: U- T& Q0 I' r