|
) R6 ^ q% r7 R& P& [
最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计 % n: m( O4 V2 ~7 t" U% b
所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧 0 }8 M; O& ~5 w. Q$ _0 b" s
正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助
1 s$ Z4 L6 T) l6 g- a) r$ l+ ` 虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的 : v, h' @8 {! n, I, R3 ?7 u
1. 数据类型的转换
0 H0 l7 Y- `7 k 有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换
8 n- x3 u; ^: x2 @ 至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型” ' M7 m3 s' B0 Z6 ^/ {, @4 o
! _' T# _, }; ?2 p1 W& L4 O
通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct 3 Q2 v! n/ U l$ g
我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了
8 w6 ~$ e9 A3 ]" I" z4 J2 I5 g ' Y" h7 T0 x& s- h/ e) n8 w
2. 字符串的对比
. [9 r/ s; i) y+ N# }3 ^8 R 第二个经常需要处理的问题是，字符串的对比 3 P/ Z* @2 z; i! E; d
这里不单单指的是字符串，还包括cell元胞里面的字符串定位 8 Q, \ ?' w" F# k
如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比 : H. \ ?! D2 V" h7 }" ]) |
strcmp(abc,abc) 0 s) \, j7 C+ n9 } v4 \. a! V
判断字符串中是否包含某种字符串，可以使用contains函数
* l7 e- | k) E) O3 U contains(abc,ab) # I- I2 p' _6 \$ e1 m9 i
判断字符串中在哪几位出现某种字符串，可以使用regexp函数 : y: z1 F/ X. c+ ?7 D% O* }$ R, X
regexp(abac,a) % R d2 \" z- {4 c6 p( @7 [6 b
更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位
. a0 z& n: `! S0 N9 i" ]- S4 [% R a = strcmp(Cell_variable,abc);$ A& L9 L; }! A' G! Q
b = find(a == 1) . i. \/ K% F' ]1 l& E" W
同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位 ) U( v1 B3 E, |, ^0 o7 ^
a = contains (Cell_variable,ab);! f$ N$ X8 r; ]* u6 h
b = find(a == 1) 8 n" F O$ F9 ~9 S0 h
掌握上面这两点，在平时处理cell的字符串，基本上就够用了
( W7 t) o$ V9 Y8 f. q) \ 3. 文件的读取写入 6 r- h9 Y- e6 i9 B% h0 G& e% R
文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出
; {% x+ u) w5 ], h$ e e$ W mat, txt, excel是平时最常碰到的文件类型 4 q# B8 R2 R( f1 N3 X* J
mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存 6 R" U4 \7 r n! ^
加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存
& s# y9 d ^; r1 @, y& B$ c! b txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法 8 F5 t1 g) g7 E- d0 u
第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过
0 [( F4 T: g7 t6 l 另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等 6 I o6 E9 D% h: L
导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式
2 |$ Y( |- L: X0 M 6 i q8 R8 G, h
3 o0 v& i: r- n& c
/ j! ?, e+ P" q+ K$ P0 F txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码
4 ^5 F; W4 v- Z7 O! R9 o fid = fopen(test.txt,wt);: B$ i# Y) j; m
fprintf(fid,test1\n);
+ I# ?0 g* I2 c fprintf(fid,test2\n);
% v B( z; R" d4 W Y# y fclose(fid); # h/ a: q% L) b7 k
关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。
9 P( e- H! N+ J( c; h1 [1 G+ L' i 最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入 - P; f, g8 I7 h8 ^. a' Q
[num,txt,raw] = xlsread(filename,sheet,xlRange)% ^+ K; J& g. a% }
xlswrite(filename,A,sheet,xlRange)
" f' y/ V' p5 w0 g; r% T! D$ l+ Z 但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable
2 B7 l5 V/ W1 W9 h! J% p& [$ i8 q T = readtable(filename)! e9 L0 x6 _( J! W o0 Q+ T( @
writetable(T,filename)
% r1 Y: l: h4 W( [7 q " z1 Z3 O4 ? d( s1 X
如果数据是cell元胞的话，替代的函数是readcell和writecell
! H+ R4 K5 H; D$ r T = readcell(filename)* p( t8 e: G0 e! N
writecell(T,filename) # P D7 a, f# A; E
大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别
9 m0 l2 \6 a! F/ e/ G3 d 4. 数据可视化
% P9 z2 p6 X. ~- v1 G( r# y9 P 数据可视化，结果的呈现，也是数据分析过程中至关重要的一环
! L1 L, M- ]+ E. H- W 像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等 + `% R7 H f3 y v; a4 T {
这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法 + E5 b$ C/ W' [4 _; X& j
在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了 . T' h% M" @9 v+ H
6 N4 L! Y# W% Y2 @" A$ ~8 j/ u
不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜
9 u4 {6 i6 ^+ R1 y( ^9 m; G" S, h 在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用
+ f. l, p8 E' _ ) ^- T+ N& A; N. V Q6 j$ p; N; y
+ q- M9 T$ m* L( f& U3 r
, h7 b4 H: I. F* w+ h! w. A! j0 ^
5. 数据处理的常用函数
2 u1 G( d2 l X, O 关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差 4 K7 Y4 n6 Q2 ^
再安利大家几个平时我在处理数据时最常用的几个函数
: Z" a" Y; o9 y- E% r 第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用
' i- d% d1 N$ n1 e5 U& u% L C = unique(A)
( n/ J, H' @- W; t0 e6 q7 `; k unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了
: M. C* {+ i C& W 第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样
4 T9 p6 l* h- I+ y8 e) M9 A+ ^( C$ B% M sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序
: k) c* K4 R+ h4 w+ J" t' z4 q0 f- C B = sort(A,dim,direction) 1 z5 J I# h1 B) X' [/ T1 S D# e
sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序
1 u: ]) X/ G5 s B = sortrows(A,column ,direction) 7 ]9 ~6 j+ H2 I" V0 b
最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比 ; B9 S2 H7 i# q3 m9 Z& B- a t! }4 V
再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果 % z7 F% z& c; g" w+ K3 z
' ~& e5 ^4 R0 b- V 除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种
' g* r) K" V& K+ ?. r7 I/ B 比如reshape，可以根据自己的需求对数组进行重构 5 j7 p2 ?0 A* x3 ?9 P
isequal，可以用来确定两个数组是否相等 p9 o9 t7 N( ^+ z
datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间
/ |" ~% c. g' D! E 常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区
& z% }1 J: t9 u% g F9 T S, A! B
- w0 g2 o5 r8 v! h 6. 数据爬取
. \) f- R3 [+ M( k$ D 数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因
9 D* L6 M' t+ P6 [ 建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的
" G' h9 W% R- [) y# q4 K9 A 最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析 % m5 J3 t* n8 |* I" a' k2 I
如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取
$ L( z7 }8 D4 y7 t/ {& }3 L: V" U data = webread(url)
- K) H! c# s2 E2 y4 D 爬取到数据之后，再通过regexp函数正则法处理网页数据 , |3 O v% N1 u8 [
这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧) 0 h# T `- q8 S% Q! @% u" i
7. 薅系列工具 : h% |- c3 L' O4 [: O- E% q3 M
最后一部分要安利给大家的是，由我自己开发的薅系列工具 ) l$ f8 C4 x( Q
目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用 % m. e( C3 P9 l0 L
虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式 2 i# }" g: u: [6 K# \5 \2 }( g7 [$ G
* C; I3 q7 S) _" C
- n, |5 n4 q% q+ }3 j+ X; B
# M% S' p6 v7 e9 ?+ ] - Z' | @7 C6 V$ s# _. \6 O
我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式 $ L% N$ H' [* X4 y+ L% Q: `
3 j+ O( s8 ~, o- p3 U 打浦桥程序员：背几段MATLAB代码就那么难吗？ 5 A( R& S! K6 Z) s; M
6 }4 Y, P _7 R# z. s& l- m* R" z
+ t4 Z0 F* c, U }0 N- U5 ]! v % C$ `' m7 q7 i
& f* w* Q( B: z9 u6 B
另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式 2 X0 B, T5 o1 h3 \# f" u. e
: a; s* S$ J. x! _" M
/ A$ `$ a9 l3 l: w; x ? * `5 K+ |. D+ F: {3 A
, \( M0 r" v, E
薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具 6 ~+ k5 L+ a+ u) `6 q' U
3 G$ Q) ]8 B" g/ B, b U 不知觉间，写了这么多字 2 n* P; E- P) [+ n
今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯 0 t9 d3 o" l/ R% A
希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充 7 [- a9 l. F- q+ f5 g X$ _3 `4 @% C
如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员”
8 R) v9 \3 q$ y# Q1 B5 r* `. D
/ f8 V8 _! E$ Y2 |, V4 z) o
: Z5 J% y/ `: }: G5 N6 A5 B
( ]9 N; a& E, D/ W1 h/ `/ F% U8 d7 s
' a; V+ _) f T | 
