|
. f: @0 M/ U0 d8 T
最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计
/ U0 |7 u) ?0 f$ ` 所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧 6 D3 T! D- i0 G3 b6 q0 F h
正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助
, M) ~5 z1 p! u: d 虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的
: C8 @$ g6 x) v0 ^. W. J2 T 1. 数据类型的转换 , N! K* m1 A' ]6 Z A5 Y
有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换
3 \: V O6 V8 l m: X 至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型” " g% O2 j/ y" p& R3 A. Z- e
8 d' w }3 i# q; s2 ~
通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct
* D2 {, h. `% W 我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了
+ n9 C+ l3 k1 b* u6 ^ * ^& Q0 r9 j% [- D
2. 字符串的对比 ' @4 u; K. T7 r. @; k
第二个经常需要处理的问题是，字符串的对比 1 @" B5 R5 r! p8 J% Y' O, w. V
这里不单单指的是字符串，还包括cell元胞里面的字符串定位
0 s5 e" L9 {/ n7 Z 如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比
& }( e; G. s Z/ S2 ? strcmp(abc,abc) 1 J4 }+ q- m! |2 D* O1 g& q
判断字符串中是否包含某种字符串，可以使用contains函数
) m7 W/ F4 Y$ w+ o1 F contains(abc,ab) 4 A3 c8 V" Q% n7 z
判断字符串中在哪几位出现某种字符串，可以使用regexp函数
4 V& d7 j: f1 s7 B regexp(abac,a) ! m- f0 j+ p: T/ a
更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位 ! g( R: v5 S/ b c/ {8 _& P
a = strcmp(Cell_variable,abc);3 @0 s b+ k: ~
b = find(a == 1)
9 \( k" H3 X6 V! ~ 同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位 8 q# `. f* x5 M. h
a = contains (Cell_variable,ab);
, N+ X1 m) H( u. o b = find(a == 1) + V U. H0 w J! b: u
掌握上面这两点，在平时处理cell的字符串，基本上就够用了
; H2 F$ x l+ L) b+ j1 ` 3. 文件的读取写入 & F1 {4 \; v: I, m- E
文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出 5 u* J, Z8 X. S
mat, txt, excel是平时最常碰到的文件类型 2 r; |* p8 d' m8 @/ L2 E r
mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存
1 H$ F$ q, } |* v( [& d 加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存
8 E6 v' `, ~$ w( U( A txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法
, Y9 b! b! i7 t# s 第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过
# K3 X/ J+ Y9 `' p9 D5 m; P 另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等
' H+ V% k l, X% T2 a- S3 j- `7 l 导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式 - O* j5 _9 Z( Y' |- J
5 \2 U7 v( w% w; C: P% g2 n, A, y
* Y! Z. i! \0 ~: g( ^ 0 l* A; t: G4 @- c7 U! K
txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码 6 @ \- M: F% Q
fid = fopen(test.txt,wt);$ t' c. j$ D! [6 r. A' s) m/ d* o
fprintf(fid,test1\n);
$ x8 h' o, t& ~& t fprintf(fid,test2\n);
s* L8 f! D$ u+ h: ^ fclose(fid);
- J$ e; t7 J. ~; h 关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。 7 E) P4 D6 g; |+ v; W$ h2 H
最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入 4 B$ c9 k& }4 y* _& D& Q
[num,txt,raw] = xlsread(filename,sheet,xlRange)
9 @; ?7 ~+ R; A* y xlswrite(filename,A,sheet,xlRange)
O7 m- s$ _, \2 A, a. B) { 但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable
- M' m! i) f6 k9 w/ L9 K T = readtable(filename)
. B0 H! ?, X2 v4 S3 C3 P: X. j writetable(T,filename)
! \) M+ m0 y; n) w8 q
|0 }/ R" J' z9 v 如果数据是cell元胞的话，替代的函数是readcell和writecell
6 ]/ a. `# [! W" { T = readcell(filename)3 F* q4 x0 P* |
writecell(T,filename) % g9 p$ [+ }& B9 j
大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别 0 K3 h: o7 ~4 q
4. 数据可视化 4 |7 J, y( V/ ?6 x% ?% j" y
数据可视化，结果的呈现，也是数据分析过程中至关重要的一环
F0 G( l5 g( q) c- L$ l# f+ X 像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等 ; a* z+ N b" w/ |5 B( s% n
这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法
6 n1 X1 u9 @' D3 ]" i+ F! @ 在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了 5 u9 i1 B( t j3 R8 \; _8 R
' g8 ]$ w2 i. ^$ ~6 _* |1 q4 x 不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜
+ Q) b/ n6 q/ R( I; B0 z8 Q 在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用
6 @3 a+ g" t. f& D" G+ v
3 |: i6 t; l7 ^, p. g( b& {: T * F! B' ~1 `% C) Y* E
( M7 G7 u7 f1 \0 P' T& W! t& T* l" l
5. 数据处理的常用函数 9 T8 d# n! D2 P) d6 C
关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差 5 e! @6 V2 O: ]9 ?, J- u$ K
再安利大家几个平时我在处理数据时最常用的几个函数
4 o$ v3 A: P0 y 第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用
6 R% r% L' a" P2 l, T, c C = unique(A)
( `+ V: F. F- a unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了
8 M" `& W* f# J/ S9 {. V 第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样
& e2 Q) k" p7 G sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序
5 _) Y5 ?( ]/ {& n1 j B = sort(A,dim,direction) 1 f* C3 d" E- ?* Q4 d1 I3 M6 K
sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序
" l& ?# L. Y) X, X8 e B = sortrows(A,column ,direction)
8 V5 N3 |1 \6 U' w2 D 最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比 ) w8 i( {- r* e/ H1 {
再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果 % a8 Z D* l* ?1 s K: a& d
) Y' p7 `/ v* Y5 w6 w H# m- ~
除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种 " M. e) W+ ?9 U Y0 K+ [, |
比如reshape，可以根据自己的需求对数组进行重构 1 |5 ? [4 `& K) T& S
isequal，可以用来确定两个数组是否相等 ( W, P' N* }: ^/ {
datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间 " ] E. z3 D0 @1 Y- V4 a8 j' ]
常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区
& T, ?! u2 J! D. r/ w; @* g! u9 }0 L# s& t8 {. o! c, a
6. 数据爬取 z) C: S' K2 b, d/ m" D
数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因 2 w. j# |: E0 M& ~6 p# S
建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的
5 V' c& @0 j- C4 I) V4 x 最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析 0 t* w: K2 {; z5 V k! W. L
如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取
8 c: [- g1 R/ X4 r- K9 _ data = webread(url) . \0 s6 o. i! M1 g( @! W* R5 B( l
爬取到数据之后，再通过regexp函数正则法处理网页数据 % ?1 n/ j7 S0 x* T
这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧) , g# k7 B1 e7 A3 u( ]1 Q0 d$ c
7. 薅系列工具 ; w& r# U; k- j a
最后一部分要安利给大家的是，由我自己开发的薅系列工具
. u3 k+ g7 i, ?4 ?) ~ 目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用
4 ?2 K0 ?1 t8 w9 d% H' ^- Z 虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式
1 `! F' k/ ^, P! T1 A) [. K* {& {
# R9 X3 U! a7 o% A1 h# q
6 ?7 x% p* ~7 P3 Q- B
9 J1 V( G6 K3 x& O) \/ ^( [ ) M6 w! M6 p" o1 Q7 b* i7 g' k
我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式 ' K9 G0 m6 w- W7 X/ M% w
( p. D7 d- ?. D9 }; N
打浦桥程序员：背几段MATLAB代码就那么难吗？ # j4 k* g; ]( A7 v
3 \; ?! c" `# Y- O! O& I M% V
1 _( n7 W% w; P$ r+ F5 m$ y
) q; Y. S$ u# ]/ m 6 o- ^3 h5 b2 v6 d0 {
另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式
& i- h) I7 P2 `- n% j$ X5 {* s , M* f! b+ w# K7 [9 b" L0 D* w
5 Y' G7 F) {( [4 c E; ], o
a! j( o' s; C% I( ?$ i
. K: U C8 d; @ 薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具
( z' u% r2 |1 l3 U) p 3 L$ R# e" {4 q: J0 B* J
不知觉间，写了这么多字 8 {( k% G' J) f0 ]
今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯 3 @2 \2 f0 t2 C
希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充 ; t: k9 F8 c2 o8 ^8 [; W
如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员”
* v" e. |- \2 p9 B0 N+ y4 n
! R. Y) s' p# e1 @0 a$ \2 {
! {7 Z, U" d8 I1 d; t a2 t" \) k* k7 V9 e& _6 L) s# n! s
* x1 W4 a! s* R9 _ | 
