关于机器学习数据挖掘中的数据预处理问题？

铁甲将军夜渡关

朝臣带漏五更寒

山寺日高僧未起

看来名利不如闲 啪！（醒木的声音）

一周没有更新了【吃瓜】

; R+ H& j1 u' f! ]$ E* `+ b

因为了小小的科（摸）研（鱼）任务

忙

2 j7 i: x) F1 Z/ u8 H; R; G+ x

都忙

5 @- J* Y6 v; _' B

忙点好啊（主要是早上不起床）

我们在进行数据分析时，有一个非常重要的前期操作--数据预处理

" V- }$ U9 U2 _1 s

在学习机器学习算法时，为了更好的理解算法的基本思想

会用到处理过的很干净的数据集

& J" w8 l( n* I D9 V( E

而真实的数据中，多种多样的数据类型、输入的错误、数据的质量等等原因

都可能导致无法匹配模型需求

这时候就需要进行数据预处理工作

数据预处理（无量纲化）

: R# C/ M$ j% V% t' S; x7 q

把不同规格的数据转为到统一规格就是无量纲化

0 o1 R+ @: ?2 r! t& |; [% L

比如我们判断环境参数对浮游植物的影响

22.9°的温度显然比0.044μmol/L的磷浓度有更大取值范围

! Q! d4 b ~6 s! p, j

这会放大温度的影响效果

& |8 `; N2 r, h7 `- N

数据归一化

将数据收敛到[0,1]之间该过程就是数据归一化

& n4 { E$ r) H

可以使用sklearn中preprocessing.MinMaxScaler来实现这个功能

1 L- y& T3 m6 u- e! D8 V; K

归一化后的数据服从正态分布

" x# P% c; d, p& D7 m

from sklearn.preprocessing import MinMaxScaler def mm(): - i9 g- D3 ~8 H' L- e """ 归一化处理 """ # 实例化MinMaxScaler函数，不填写feature_range参数默认为0,1 ; d1 i6 u$ K' p1 T mm = MinMaxScaler(feature_range=(2, 3)) 0 a8 v/ Z# ]$ r. u data = mm.fit_transform([[90,2,10,40],[60,4,15,45],[75,3,13,46]]) ' ?' M5 `. n, k4 D$ z print(data) return None . s8 L7 m& Y" A& j if __name__ == "__main__": % K: [' n2 }/ C6 R! ^7 d; D/ p mm() ! U+ J! g. H& O: j6 f" `- V6 v

数据标准化

3 { B5 X+ o, {' E

标准化后的数据服从均值为0方差为1的正态分布

* @# I1 f. j% t! o

from sklearn.preprocessing import StandardScaler $ j- L* ~2 F6 T8 l9 W# U . s! |& d7 S' y( w G # x = x-mean/γ mean：平均值 γ：标准差 2 O( j. `! n. O% `$ F # 方差 = (x1-mean)²+(x2-mean)²+(xn-mean)² / n 标准差 = 方差开根号 # 优点，不易受异常数据印象 # 一个目标变量由多个特征变量影响，当一个特征变量很大时，影响程度更大，所以我们进行标准化，消除这样的影响 8 c; f# J, ]" o4 {9 q def stand(): 5 ]$ K5 n$ E- {' u """ 1 K; @* @: l, A" k9 G 标准化缩放 . h: F: a5 `0 ^: U' u( X """ / b( T6 N6 A/ \. F* g; o# \& a: q# b2 P: B std = StandardScaler() 6 x9 c" K( c' N" Q* j, m% T9 ~, }/ A pre_data = [[ 1000., -1., 3.],[ 2000., 4., 2.],[ 4000., 6., -1.]] data = std.fit_transform(pre_data) print((1000-2000)) 9 S1 C1 j: X$ K# u print(pre_data) print(data) 3 D0 w& h" b4 Z$ m m3 M4 I 9 {6 O% C% J3 a1 x3 |; B& w return None : | u4 h& `% i; Z6 S; l) o if __name__ == "__main__": # M% q1 S' |3 K( A stand()

下一期讲一讲特征工程

关注我【生物海洋计算机支线】，获得更多生物海洋学，数据处理，作图等相关知识