|
& R4 i; f' Y6 m+ D9 f 最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计 / T9 l: U5 F' p2 _0 J* F' a) `
所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧
* Q' f" }, Q- ^6 z5 g 正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助
. D" M4 g- w/ N- E$ m, C1 E. { 虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的 " ?( z- n, V9 b9 U
1. 数据类型的转换
0 W5 y8 c* D0 n3 h: L8 V& K 有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换 6 ~6 p8 v" ?* d: X4 n# x& {. {8 V
至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型”
3 L: N: S; M5 I2 a
+ U+ t9 e3 l: I# g 通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct
: k$ J1 x# r' Z% c 我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了 0 ^5 D6 p5 N' Y" F2 t
) A5 u4 ]* l7 C2 c; h4 R% R 2. 字符串的对比
: a, D/ {! E7 |; o9 n) F" m 第二个经常需要处理的问题是，字符串的对比 ) c1 e3 j* A7 g0 v1 J
这里不单单指的是字符串，还包括cell元胞里面的字符串定位
5 Z+ Y2 R4 e: T$ O! L! Q 如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比 1 y, I/ |$ n1 \7 Q2 a( P
strcmp(abc,abc) 8 Z, P1 o# k* K; |" _" J
判断字符串中是否包含某种字符串，可以使用contains函数 ) S, T: b7 s' C6 \
contains(abc,ab) . l4 l: F6 I; N* } v9 `- M# S
判断字符串中在哪几位出现某种字符串，可以使用regexp函数 + A9 S( `+ J" _4 r, J
regexp(abac,a)
: f4 P9 C# a2 b0 N. `, D" o 更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位 p: r+ V* Z$ ~" }: m
a = strcmp(Cell_variable,abc);
- X8 |& [8 L# R& f9 l0 l b = find(a == 1) ' E+ c* Z0 O% m6 |9 W/ s
同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位 ; g, t# y- a! N. W
a = contains (Cell_variable,ab);
x% m) D' g" w7 b. X b = find(a == 1)
, s! U5 b: e/ j5 J 掌握上面这两点，在平时处理cell的字符串，基本上就够用了 3 l1 U* ^* B% |0 E# ~
3. 文件的读取写入
5 I: f, @( p0 L p 文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出 8 B3 F8 S7 G y
mat, txt, excel是平时最常碰到的文件类型
, t! D1 E( ~2 E1 x mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存 6 D/ d. Q( g& e/ C" r* P. _9 N
加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存 2 e! q/ w3 H" Q: w+ e- {( _- i8 Y
txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法
4 a- P! `0 r. d 第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过
4 ^) Z1 N, ~* c/ u 另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等 : n$ V+ [6 w) s
导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式 0 K: C6 H( n- c9 m1 F# {: @8 ?
3 r( H" c; G9 o( ~$ U9 F
5 R2 h' m$ w3 d! W7 ]$ [& s
( ?# `3 ?% {% [$ u6 O* l2 A' L txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码
7 k7 r* m# g* F/ p) i- M fid = fopen(test.txt,wt);
6 y: U' }9 m5 W, e7 Y fprintf(fid,test1\n);
6 G/ R q3 e! e* I fprintf(fid,test2\n);( \4 Y# W% ^% _! @
fclose(fid);
/ } d! U& t9 U+ I' P6 H9 f' Z 关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。
0 [- x+ r4 ^! M$ P 最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入
* [$ l3 a1 C4 f" ?; Q [num,txt,raw] = xlsread(filename,sheet,xlRange)
( k+ {0 X x# R9 S- B5 U: G xlswrite(filename,A,sheet,xlRange) " G, I9 Q' p1 N4 B
但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable
( L* v6 \5 Z2 t% t5 n5 e T = readtable(filename)! H8 P- {6 ^0 d+ J5 ~1 p2 ]
writetable(T,filename)
2 @* Z* W' i0 N. o3 }1 u5 d
: z5 L( ]4 ], y: u 如果数据是cell元胞的话，替代的函数是readcell和writecell
. ?2 [0 e9 I3 f. \: V T = readcell(filename)! l I6 a, \7 R" I7 c2 Y: I' L
writecell(T,filename)
9 W* }! q! m& b, l( ^ 大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别 ! N2 w# R) O! Y2 J: H, ?- x, T
4. 数据可视化
5 e' b/ z* ~: z$ h3 V% h" `7 T 数据可视化，结果的呈现，也是数据分析过程中至关重要的一环
1 a- {0 G o% e" X, J0 K3 J 像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等 0 V- }; i' F/ S! q! H
这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法
" r$ f! \/ a5 C Q$ V0 F; u 在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了 3 c3 N/ t- i) H2 O0 }) ]
# A& J% f0 r' q& j) Z. V 不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜
' v1 _$ S; B( V2 S 在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用 + j( a1 T% J7 s/ X% b# y
( _ x; S$ l$ I; N
- C" `8 u) x/ w# x
' v% p }) |% L3 T2 }
5. 数据处理的常用函数
1 ~/ G) `" L% B9 `" g 关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差
* H% ^2 T- Q& w* ~1 R 再安利大家几个平时我在处理数据时最常用的几个函数 ' D" e: I0 D- w1 Q4 L. }
第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用
2 \" y3 g( o7 q6 Q C = unique(A) - B' l) P- u) \1 o/ K! s# Y
unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了 , n' ^5 w5 I0 r
第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样 0 n9 H8 c: p6 s E3 h
sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序 : C6 e2 ^1 O5 i0 {5 `
B = sort(A,dim,direction)
9 n& k/ W5 h0 d sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序
# [ X2 o9 Y; X% R B = sortrows(A,column ,direction) ' E& M; F' v: L# A2 \" |
最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比
/ f4 J& `5 i6 @( n" N5 U- a* e 再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果
! D# n; L. F/ X7 I 1 F" w6 P! \# N" v2 s" a
除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种
6 @! Y4 D( a$ v9 F2 Q) m0 \ 比如reshape，可以根据自己的需求对数组进行重构
- _) b9 p& X6 I( w; T0 M isequal，可以用来确定两个数组是否相等 ( o0 r5 w9 T1 E. x# G8 w" Z" P
datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间
( U3 G, X5 v0 y. ^ 常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区 6 h* @- V) f7 f% h5 U7 F; W9 W
* D8 A$ ?4 i& f* x0 ]0 |4 Y) ~$ s* H
6. 数据爬取
& |" K. \0 ?) ]5 ? 数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因 , s4 Y$ S3 g2 ~, B. o7 Y& M, [6 \
建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的 8 S1 S m* S" D: G
最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析 6 c# c; c9 L* P1 ~8 d3 H* y5 ~ c$ ]6 M
如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取
/ L/ W2 F. Q: b! }7 F data = webread(url)
+ D/ o# [- F5 D$ O/ ~ 爬取到数据之后，再通过regexp函数正则法处理网页数据 : h! D) u5 n% b' H: y/ E
这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧) ! F: Z- [" k* i9 d B0 T
7. 薅系列工具 ! t, }& S$ w$ o; |" `
最后一部分要安利给大家的是，由我自己开发的薅系列工具
2 k! R- N& e N/ P. g 目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用
& W8 k) i; X( r 虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式 4 Z% E8 J! S% @4 s& t3 J. |* W
- S/ W; t% S6 S+ I3 q2 [% j6 T % R2 a# }% w6 B( }5 a2 T
3 H/ L* r0 n1 k$ ?, w, s5 W v" {# o
2 P9 ]+ u# J- M% j( c; v
我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式
) I0 Q' M$ U2 T! B( g( ~, _# I" [
: l I. }" _( t$ _7 D" S+ {: S" v9 r 打浦桥程序员：背几段MATLAB代码就那么难吗？ 0 L3 T& j" T6 B9 T: w
; B& v c6 }8 b0 w . `% l J B7 b r
: \+ R, X! y; n5 } 0 u: g' s: w2 Z
另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式
% _6 e2 u8 _$ ~2 M 8 m# Q: u u( G9 I* x
7 n x& Q9 T( Q
! @: r/ }9 `) |& t4 U2 w 2 N7 E6 u5 D& k: [5 l0 d
薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具
) `7 j4 P% L. R & t( ?2 \/ p" t' g2 p& x
不知觉间，写了这么多字 , t; e" Y7 U5 O1 P
今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯
4 b+ `6 F" T) F$ f2 s/ r! v& C 希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充 # j; z0 Q, l# J) W; v, u8 I
如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员”
3 G0 f, t$ \" I. q7 X" Y
- U4 W! H; |5 Y' ` B
. o6 M6 P4 V8 U4 k. t: Y. ?0 h/ X* }' p
8 {4 c6 H. _+ }$ U. q- b
| 
