|
2 k, I" u" v( @# s& T! X4 M
最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计 " g) T% ^, t3 _* E% z1 h% m
所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧 ' w1 L3 q, }, x- b/ [& t; ?! f
正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助 4 B; s- P( u/ ?. V& @+ i# t e
虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的 ; L t& m& J$ v$ x: O% V
1. 数据类型的转换 ' x. Y7 F& F* g$ H6 @
有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换
; T$ `$ H- G7 ^# d# T3 i8 Q 至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型” " l+ L# N; R: E
8 u% `* j5 w" r0 W: h* ]$ e2 A1 z
通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct
$ q; ] s( g7 \; l 我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了 ' h4 N8 ~1 z0 U# Y" q
+ {3 p/ G" n! G0 d; @: j 2. 字符串的对比 / R- h3 @: a' F, G6 k- a9 J0 t+ G$ \
第二个经常需要处理的问题是，字符串的对比
+ B! l. T0 P3 d( M0 N# f$ O# S 这里不单单指的是字符串，还包括cell元胞里面的字符串定位
# J! l6 \( c5 a6 i* X 如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比
! N2 p m$ @9 S/ y; u strcmp(abc,abc)
- k- d' e4 s4 l) P0 @ 判断字符串中是否包含某种字符串，可以使用contains函数 2 q8 Q1 ?$ m% w5 f# {6 U
contains(abc,ab)
$ y8 Q0 M5 o) w( q9 W: M4 i" | 判断字符串中在哪几位出现某种字符串，可以使用regexp函数 4 e' N8 q" {8 D: H* Y! r
regexp(abac,a)
) j4 Z- Y+ |' t6 V. A9 }- l 更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位
5 K7 O: g% z) H* `$ L a = strcmp(Cell_variable,abc);
5 B3 _/ g/ x1 \. ?5 G4 H* D3 L, X% N8 B b = find(a == 1) * b% _3 f4 @& z5 W4 O' ~/ E% x
同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位 9 s5 ~6 V' L! Q
a = contains (Cell_variable,ab);8 ` W! Z( S) ^* g4 A6 U
b = find(a == 1)
# o& l1 U w6 q 掌握上面这两点，在平时处理cell的字符串，基本上就够用了
4 N$ r4 M. D+ b 3. 文件的读取写入 * V7 v+ t. ~9 j
文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出 # D. D: h7 G6 [7 p4 C4 S/ B
mat, txt, excel是平时最常碰到的文件类型 , K0 D1 q) ]$ o( x9 \: O
mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存
: I+ w% G- n2 s+ r T0 A. F 加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存
: [8 O( ~3 G- V. _* e4 t! x txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法
* s, `7 L( G, P5 o2 D 第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过
: N/ [" X7 m2 |$ L% L- n0 V 另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等
/ N7 e# k0 t$ U: q8 ?0 J7 f 导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式
7 x3 l' b) C6 K$ k- M) P
- F+ e+ p0 v; C {8 l+ h - E9 ?5 Z. |( R; i+ e& c
. M9 W0 \' I7 h) h. _4 c
txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码 + q$ W) v8 V' H, F9 O/ m
fid = fopen(test.txt,wt);$ d' U- B* s% R) C2 R' ~
fprintf(fid,test1\n);
/ [+ ^ X4 R/ i. l k8 t& ~ fprintf(fid,test2\n);
1 [ j5 X1 Q; F& _$ x+ ` fclose(fid); : q( H: U2 \/ |1 `( E0 E
关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。 7 T% A( F6 J, H! M5 O
最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入
. ~ z4 y6 U$ J4 {) \, d3 x [num,txt,raw] = xlsread(filename,sheet,xlRange)
+ n& }! w4 K5 z$ q2 s6 e$ v xlswrite(filename,A,sheet,xlRange) 1 h2 X5 I+ p9 c' [/ ?( j
但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable , t2 h1 I1 Z. g9 \ U2 z
T = readtable(filename)' [1 t% I7 L3 G/ ?$ [0 Z
writetable(T,filename)
. h y! D; ?8 ^* z0 F
% U6 Q5 b) R w 如果数据是cell元胞的话，替代的函数是readcell和writecell 8 o* j' d7 M8 j& o3 ]
T = readcell(filename)
" y, ]6 K, H0 G. P8 g" }( J: X/ r1 E writecell(T,filename) ) N- P% f& c5 `) a- y, L N' u( _
大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别 : p+ |2 j1 H& r7 Z' w- d
4. 数据可视化 G* `7 u/ x1 d% d: b0 b
数据可视化，结果的呈现，也是数据分析过程中至关重要的一环
2 r1 `2 `; C- I1 n 像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等
$ U8 r6 i( ?# r: c/ Z 这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法 2 r% Q. g4 k5 ]( s
在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了
7 M) T4 z" a% Q$ ~: M2 T
% `0 ^8 Q( `# w/ m 不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜
/ H- m# _% U5 N8 ~) P1 S% N 在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用 $ T# _- D6 l6 E2 Q) Z8 s' z9 x" K
( j# Y- y" f ~; L5 L- \
9 c: v+ ~7 }8 s; D
" M9 O& u7 N( x% y/ B6 R 5. 数据处理的常用函数
r1 O: U- k& m9 w( V 关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差 * U$ j+ i' p1 m, X$ H
再安利大家几个平时我在处理数据时最常用的几个函数
8 S+ W# n {% b9 U) i) y5 S& i 第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用
, K& Y' d5 Q0 @9 C C = unique(A) , f3 b m+ N3 |2 t; q2 X
unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了 ( H% l1 U2 `) {+ C6 K- t
第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样 , J P/ R9 c! T3 C
sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序 * b( z2 m: z# @! s1 }/ d
B = sort(A,dim,direction)
9 G' \7 F8 _) W; h sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序 % z+ Q- n+ N0 v( s# V! {8 M
B = sortrows(A,column ,direction)
" ~. A' J# I. p) H! V! P2 ~ 最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比 - T: X# S( b p2 X5 _5 B
再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果
. J& A E1 ]0 z- A! t! e0 n
" X* I7 u8 O0 \ Q 除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种 + @9 ?: F$ c. s
比如reshape，可以根据自己的需求对数组进行重构
% z; l0 }. ]5 ^2 h isequal，可以用来确定两个数组是否相等 6 r$ r$ m+ m* t' i8 O
datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间
3 }( @: K; |6 E* z. D 常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区
5 g# p. l" s* \. @3 C! I" U+ h7 }2 q5 J( f v3 v' _
6. 数据爬取
6 q6 p. A3 i% M! R/ [ 数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因 , H9 Z: y- U/ g8 |# F/ z1 s3 G
建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的
( _6 _8 p+ Y& u" T 最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析 $ i5 }- _3 _7 Q" T& w2 c3 r
如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取 0 I6 d$ Z5 V$ @. K
data = webread(url)
8 e) F& C9 k0 g' p4 K: P+ I( c 爬取到数据之后，再通过regexp函数正则法处理网页数据
% ~' ^3 i& H6 {6 ^4 o" Q 这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧) 5 G' v+ S; k Y: b8 R1 |$ H
7. 薅系列工具 2 o0 z) T+ k( |% J: X: f0 R2 b
最后一部分要安利给大家的是，由我自己开发的薅系列工具
# e: q$ Y: Y4 l4 ?" v) R4 e9 P 目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用 8 q' u# h' E9 S
虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式 / z; {: o* F: B4 r
1 P5 x" J! b; N" R. x& u 8 y9 v- v* i* u% _0 E- h
* {! l, a b7 n
( [- ~- }) n9 l# e/ C7 I# f 我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式 T+ Z" Q' V+ y1 r% m* R
) Y, k: j7 U2 W3 ]: g0 {0 R) t 打浦桥程序员：背几段MATLAB代码就那么难吗？
9 A Z" R" k: b; d0 Y5 d ' d' a5 C- v; |2 c/ q
* J1 h7 F6 _% ~ 7 b$ @3 T3 L" M& i8 A1 z$ q( E# ?6 q
4 v. L& }/ g: W0 E7 s; l3 u1 e5 x
另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式
+ j+ r1 T+ }0 C* v " A) Q+ b7 _# Z
5 O( D6 {# N7 ?) p( u( e / z9 [9 [/ e4 O/ E+ q/ P! C% k' {: K
, _& w A" i% P# m% ^
薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具 6 K0 D7 \! `3 B" ^* t. t
$ N( `/ l% `$ _ E# _& ]7 [ 不知觉间，写了这么多字 1 }! K7 R1 d- z6 Q+ t" s2 V7 P1 ?8 E
今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯 * f; s I6 T8 {& Z
希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充
3 S/ ]- H2 n# B l+ o 如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员”
+ Q, v! [% u/ w- s, V I" R+ O% l5 @% C ?9 s1 A3 h6 A$ v3 w
( R ^1 U4 Y9 _0 n: e9 ^0 x
: g. s( v* x* z, u8 z+ Q6 Y
+ a2 e1 d0 N7 G, c% @& I# n | 
