关于机器学习数据挖掘中的数据预处理问题？

, T5 V: G+ f" ~

铁甲将军夜渡关

5 X6 i; n: a4 W/ ?4 d* [4 w. A: p

朝臣带漏五更寒

% M4 \5 ]' [* d; ^0 i) k# K) Q

山寺日高僧未起

0 z$ ~+ v: ~1 E, ^ N4 q! Q/ f0 r

看来名利不如闲 啪！（醒木的声音）

一周没有更新了【吃瓜】

因为了小小的科（摸）研（鱼）任务

忙

/ i9 G, [( J! \

都忙

忙点好啊（主要是早上不起床）

4 p! q; {" M. Y

! }: \, ? V- I

我们在进行数据分析时，有一个非常重要的前期操作--数据预处理

' ~4 ]! f$ @- A2 Y( `; x! v

在学习机器学习算法时，为了更好的理解算法的基本思想

会用到处理过的很干净的数据集

而真实的数据中，多种多样的数据类型、输入的错误、数据的质量等等原因

都可能导致无法匹配模型需求

这时候就需要进行数据预处理工作

7 W, x9 w( k7 L& N

数据预处理（无量纲化）

/ @! r' c$ x; M( u

把不同规格的数据转为到统一规格就是无量纲化

2 b: j+ B. X3 o7 X0 W( D

比如我们判断环境参数对浮游植物的影响

. B; s0 p% y, W0 e- l- w# F

22.9°的温度显然比0.044μmol/L的磷浓度有更大取值范围

6 q0 f) A, W# M1 n" X4 [

这会放大温度的影响效果

( q$ G. s# R$ r( y) A# j) ]; g7 D) b

数据归一化

/ ?( V+ e; |/ s8 l3 C8 k, d+ _

将数据收敛到[0,1]之间该过程就是数据归一化

可以使用sklearn中preprocessing.MinMaxScaler来实现这个功能

归一化后的数据服从正态分布

9 _, q; u# D2 s

from sklearn.preprocessing import MinMaxScaler def mm(): """ 归一化处理 """ # 实例化MinMaxScaler函数，不填写feature_range参数默认为0,1 mm = MinMaxScaler(feature_range=(2, 3)) ' }) k% X: p. V2 Q- @, [ 1 `7 u5 r6 Z) s& C6 g data = mm.fit_transform([[90,2,10,40],[60,4,15,45],[75,3,13,46]]) print(data) l/ O6 H/ V- o' I return None if __name__ == "__main__": mm()

& p8 T" ]: f: z/ f) ^# Y6 y

数据标准化

标准化后的数据服从均值为0方差为1的正态分布

- a$ f6 t: v! M1 L

from sklearn.preprocessing import StandardScaler # x = x-mean/γ mean：平均值 γ：标准差 1 Y$ `8 N: A2 @, U9 a6 q' Q% N # 方差 = (x1-mean)²+(x2-mean)²+(xn-mean)² / n 标准差 = 方差开根号 # 优点，不易受异常数据印象 ; ^: M( N1 p2 E - i+ y" k/ \9 [- W- N3 n # 一个目标变量由多个特征变量影响，当一个特征变量很大时，影响程度更大，所以我们进行标准化，消除这样的影响 def stand(): * k0 J: \4 |( n8 r3 w """ 9 g* A: `) w9 [8 i; p 标准化缩放 """ std = StandardScaler() / g# }+ z# u+ G n/ O pre_data = [[ 1000., -1., 3.],[ 2000., 4., 2.],[ 4000., 6., -1.]] * I5 f, A! V3 t+ Y data = std.fit_transform(pre_data) print((1000-2000)) print(pre_data) print(data) . o1 T3 N% o1 I' m3 c return None 3 t& O% Z% `% e! Y) v if __name__ == "__main__": stand() 4 ?8 w4 }7 h! U

下一期讲一讲特征工程

% z" w B% c% x" k/ b

关注我【生物海洋计算机支线】，获得更多生物海洋学，数据处理，作图等相关知识

" f j* |6 I3 f+ j " R: _- Z6 p9 N