|
# \9 K A9 o5 V
最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计 % ]/ b2 r" r% J+ C; v: Z& [
所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧
; ^8 B- x. @6 l i4 e 正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助
- n: ?0 g+ b# k/ H! O1 R 虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的
4 }; f6 ]/ N7 C# c9 l: M3 r 1. 数据类型的转换
& g, l: Q2 i9 o9 ?% Y0 I( j- h 有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换 0 ?- _; z; C! @: h4 ~' k, H
至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型”
' `- n* s. j9 M& d' e0 U1 F, [ W/ t! E
# {0 w$ P. `6 u+ {0 r! W% u9 Q 通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct
6 @4 L+ X7 s0 s' A4 q; [/ h 我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了
& l0 m* @( h# r6 N5 w8 | 9 N! v5 \ ]3 ?
2. 字符串的对比 v5 Q& J- S% h d! Z/ ?- C- ]
第二个经常需要处理的问题是，字符串的对比 ) r& P' W a( Q b( a3 Q
这里不单单指的是字符串，还包括cell元胞里面的字符串定位
0 M5 x& a. W& Z! D# t3 [ 如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比 }8 c' v! R- Y. g0 j
strcmp(abc,abc) * `, F8 n' v3 M; u! r- M+ y
判断字符串中是否包含某种字符串，可以使用contains函数
! N4 `( s N6 S+ o! ^8 F6 y# ] contains(abc,ab) : u4 [! I) @7 b9 i4 a9 n; B2 h
判断字符串中在哪几位出现某种字符串，可以使用regexp函数
, c" \* a. J8 N* D i' d regexp(abac,a)
$ u0 j( `. x1 _* C1 l 更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位
+ s& `+ {) F! C" ?( I `" x( J$ f0 { a = strcmp(Cell_variable,abc);
! }9 v* U; j5 W( x( ` b = find(a == 1)
# J- _; i. j( \2 ^ r 同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位 0 O. h u K) k% C7 U" e" z# G, N
a = contains (Cell_variable,ab);
2 j, z C4 I/ @5 B: h7 { b = find(a == 1) % O- ^9 Q1 Q* X N
掌握上面这两点，在平时处理cell的字符串，基本上就够用了
: v( D- N. k4 @4 O 3. 文件的读取写入 7 |9 m v2 P1 c6 p
文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出 ! y. ^1 d" V+ v( L4 G# S! b
mat, txt, excel是平时最常碰到的文件类型 ( t% ?0 G# B$ R
mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存 3 P1 W% b1 K( Z
加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存
( ]6 D# o& G$ \( Y J txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法
1 P Q5 p. V c& Q/ Z" Z 第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过 4 v% ^2 t! X- g! s2 O0 V
另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等
. V' q7 L3 d0 f8 L0 v' r- F e 导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式
) |% r& w. i: A; ?3 ]( \
3 b; V1 d/ I+ i: E0 ], ~" j8 \# D" O ) W ]3 g3 G# Y1 e% @5 A0 V
$ p0 J, |" j9 r; e# Q5 z txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码 6 y7 Z1 U0 s7 b. j2 Q/ V" f; ^
fid = fopen(test.txt,wt);2 u$ u7 {1 j" z
fprintf(fid,test1\n);
i3 n, w6 l9 j fprintf(fid,test2\n);. L' _8 O7 z9 Q; Y6 K2 s2 |
fclose(fid);
1 T+ P6 p6 m5 o. u, k3 k 关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。
6 d6 ]) m& D: P& } 最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入
' D% n+ E, O: H! e* r [num,txt,raw] = xlsread(filename,sheet,xlRange)
5 i ~/ L; a8 _, K$ u3 Q4 s0 L xlswrite(filename,A,sheet,xlRange)
) O& N" K# N6 l, ~4 q$ s6 H( V# ^, F' n 但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable
, S5 d" t n. G' p9 A6 A! d# i T = readtable(filename)8 o' S1 {1 C3 t; \5 P7 U
writetable(T,filename)
$ q/ _; `; f& i' e
' H+ i" m( W6 C8 K2 c8 x 如果数据是cell元胞的话，替代的函数是readcell和writecell 7 J# H& e4 F6 d" F8 n8 q j
T = readcell(filename): I' L& z z" `7 y# Z
writecell(T,filename) 3 P) I. X5 }* `2 f
大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别 , _2 c4 h: H: w- o# j/ C# e& [
4. 数据可视化 ( l/ i$ E9 |; C* V* }6 c
数据可视化，结果的呈现，也是数据分析过程中至关重要的一环 2 f( V, k3 ] j
像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等
9 M* R4 |) D: p1 D9 d 这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法
% N' p* A5 @! H: J 在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了 9 M3 ?( g, R- H j& P
* m! e$ N% R5 N }6 P/ _
不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜
& E V0 o) L* m r1 b 在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用 6 b4 }# j* n/ y) ^
& e2 y5 T/ L9 k7 |7 @4 j! n$ K/ s ; V7 w5 W; b2 x4 n, a; K1 O5 Y1 y
- m8 x% D+ K( N2 Z 5. 数据处理的常用函数
5 L( q- H4 ?/ ~/ J/ k& C 关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差 4 D" J. s1 a* b7 j8 p
再安利大家几个平时我在处理数据时最常用的几个函数 5 l& v) }3 e6 n \7 C% j4 E: V; j. ^9 ~; F
第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用
' ^5 z0 T& x! ?$ X) v' y6 Y! E C = unique(A) , a$ J R( k; `0 `
unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了 - l# H# P! N, f) s* M7 V
第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样 8 j4 f, H9 W' j* d4 m e
sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序
0 w/ B3 r0 Z- L2 F4 R; B B = sort(A,dim,direction)
0 A# |1 D; Y, t& X sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序
' ~+ @! o0 d& o& h9 V B = sortrows(A,column ,direction) 6 Q$ i8 c3 a* v2 i5 u2 G
最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比
% ]0 A2 u4 Y: d& i. K" t3 I; M 再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果 " ]+ |; C: N- q! ?& e' f I
6 K+ X: ^* `% Y0 w6 U* C
除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种 2 T4 l0 R2 `' w8 x3 U
比如reshape，可以根据自己的需求对数组进行重构 ' H) D% p6 Q6 v& [
isequal，可以用来确定两个数组是否相等 . P. q/ N' G5 }! M- x
datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间
" Q, H' \1 @; V( s- ^9 o" U1 N 常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区
& m: z- P* Y3 _$ i4 [6 H# V
) l7 A% z1 `* d0 e; P& A2 a) W 6. 数据爬取
5 g, A( S& ]" m M7 j8 x 数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因 & ^- V: G3 m1 y0 f7 |' z
建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的
5 j; R! c' u8 Z# J; R/ h H 最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析 4 k0 P7 B( w" i# {. N ~
如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取
& V9 y; F p0 f9 h data = webread(url)
1 Y) k1 ~' s' l+ e$ F 爬取到数据之后，再通过regexp函数正则法处理网页数据 7 E+ I& U3 ]$ D* s+ w9 |
这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧)
8 N1 L5 i; z- I" a* e' E 7. 薅系列工具 # d5 k: Y4 y% z3 f
最后一部分要安利给大家的是，由我自己开发的薅系列工具 1 O: Q* r, L% E/ h; o9 o
目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用 : E- E7 ?+ n f, e- F
虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式
% ^7 a+ U E! j/ @: q& u , e5 c* y8 P0 S: d& e$ k3 z' O
N3 n" G5 S1 D$ Y% \% w0 V
2 T9 q# A1 h, d7 G: q: V2 d
9 T: J5 N) T! H! |/ f1 O+ b 我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式 8 Z) y& D+ ~3 b0 \
2 b' R3 e7 p3 F3 Q4 f3 o5 K: X% k% a0 a 打浦桥程序员：背几段MATLAB代码就那么难吗？
A0 W0 S: ~# N : Y3 {* O- c7 h
: U$ q5 ]9 h2 i' m- @
, Z' z. k2 n8 s6 Z
" Q \5 R. I" o B 另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式
" V- d, H) w( X! Y$ H! K( [/ G1 `. |
8 F3 T' j' }* W& v; I3 U , W4 Y; m% l3 o- F- T
) \) _1 b; ~' X0 T
- {/ T! K2 D, |9 y& o 薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具
7 T; d0 e) B' z; B / {3 `$ e! t% S5 f& H& p
不知觉间，写了这么多字 $ L" T2 `9 S! Z1 z) L" k6 q3 Z
今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯 / I. Q. Y; R/ f& {8 {9 w% I
希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充
# ~, b) Z) z- G; v 如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员” ' ~; r+ R& R/ p9 R
$ W- ?; V, \, n# B: [3 o9 {
+ \0 ^; P* t( A" s7 h
3 d) D# W8 B, s
) I G5 {0 Z* e0 s: ?$ a0 A | 
