关于机器学习数据挖掘中的数据预处理问题？

2 h. b' O# f- z( ?) Y o

6 b1 u4 d6 v# T" R7 U) H

铁甲将军夜渡关

- b' [8 }# h2 T2 q% w! f4 Q

朝臣带漏五更寒

山寺日高僧未起

% I! L9 S# Q" g, K9 y! d

看来名利不如闲 啪！（醒木的声音）

一周没有更新了【吃瓜】

因为了小小的科（摸）研（鱼）任务

忙

都忙

忙点好啊（主要是早上不起床）

9 r% c% \; C) Z

我们在进行数据分析时，有一个非常重要的前期操作--数据预处理

在学习机器学习算法时，为了更好的理解算法的基本思想

会用到处理过的很干净的数据集

而真实的数据中，多种多样的数据类型、输入的错误、数据的质量等等原因

" D4 E$ I7 @7 x$ \) f1 r

都可能导致无法匹配模型需求

这时候就需要进行数据预处理工作

8 i/ ?9 ]2 H8 }; j9 Q* r/ q

数据预处理（无量纲化）

5 w1 P9 Y( A, Z% ?! }, @

把不同规格的数据转为到统一规格就是无量纲化

$ a5 g. y+ H+ K6 j

比如我们判断环境参数对浮游植物的影响

22.9°的温度显然比0.044μmol/L的磷浓度有更大取值范围

+ M) X0 n0 l$ B( h- n& }$ d

这会放大温度的影响效果

数据归一化

将数据收敛到[0,1]之间该过程就是数据归一化

7 n. k# L- q: ^

可以使用sklearn中preprocessing.MinMaxScaler来实现这个功能

归一化后的数据服从正态分布

from sklearn.preprocessing import MinMaxScaler : [7 B1 [) _( t# y$ ?0 N$ d9 g5 [ def mm(): """ 1 u1 u( m0 q$ j v' q2 T* p- U 归一化处理 """ # 实例化MinMaxScaler函数，不填写feature_range参数默认为0,1 7 Q; n1 G" N9 `6 s mm = MinMaxScaler(feature_range=(2, 3)) data = mm.fit_transform([[90,2,10,40],[60,4,15,45],[75,3,13,46]]) print(data) : b+ ]$ R g. v/ D4 j 4 d, j0 U0 C7 ]8 Q* h3 b return None 1 I! ] n3 k7 T5 z9 x j . I- Y4 E+ T# n- k5 v) j if __name__ == "__main__": & H$ B. r0 H( Y) p* T mm()

; `6 Z5 ? P5 l1 y

数据标准化

标准化后的数据服从均值为0方差为1的正态分布

5 a, _6 T- r* {" Y

from sklearn.preprocessing import StandardScaler # x = x-mean/γ mean：平均值 γ：标准差 # 方差 = (x1-mean)²+(x2-mean)²+(xn-mean)² / n 标准差 = 方差开根号 # 优点，不易受异常数据印象 3 T A& Y0 S, e- N& V0 F) Z: T 4 [0 u1 b$ N) g! H; C # 一个目标变量由多个特征变量影响，当一个特征变量很大时，影响程度更大，所以我们进行标准化，消除这样的影响 " d5 {2 `: K0 j D6 m* q def stand(): """ 2 \ t5 b( j- v% E 标准化缩放 """ std = StandardScaler() pre_data = [[ 1000., -1., 3.],[ 2000., 4., 2.],[ 4000., 6., -1.]] : q; A! s; g) d' w% q" u data = std.fit_transform(pre_data) ; ?+ \3 D0 m( b print((1000-2000)) print(pre_data) - t7 Y# o8 J; l* I print(data) $ \8 ?6 y' A/ F3 d0 E) ~ return None + \! k+ A* R( G8 ~, h* z+ A4 h- @ % {+ C y2 Y3 k. w3 Q if __name__ == "__main__": % N/ J/ ]5 E" I J- v" b stand()

下一期讲一讲特征工程

关注我【生物海洋计算机支线】，获得更多生物海洋学，数据处理，作图等相关知识

3 J' Z- F- r% d! O6 t9 r 7 j! b7 D1 W F) V* O % q7 E" ?6 i$ ^0 _" k