|
9 U; B8 L4 a# a/ o t5 B# w7 U6 X 最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计 H7 p; G( Q, M: v
所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧 3 O) O1 k+ m) _7 s1 Q9 {0 a( k
正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助
# u! Y) Z) @1 Y; G 虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的 & U9 |1 y# H: f. n$ U! }3 @% r
1. 数据类型的转换
; U# I( g* S; q# Q% x& V4 B 有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换
0 w3 z& Y/ R& R7 |' d 至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型” 6 E" J5 \8 r+ P% C
1 A9 J; t# E" b% \0 v+ { 通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct
& Q& G2 \3 K9 H; R: Q 我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了 . G9 y$ O: `! L) Z+ A
+ ?; Q9 x! R, q* V
2. 字符串的对比 9 F4 V v$ S1 a: L
第二个经常需要处理的问题是，字符串的对比
8 a J4 ^" w% O 这里不单单指的是字符串，还包括cell元胞里面的字符串定位 " k3 k6 I; e" I
如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比
7 U$ ^8 d7 ~7 S+ M3 {( ~ strcmp(abc,abc) 1 k& l' _: R0 d/ O& M4 s" y' N4 c X5 ?
判断字符串中是否包含某种字符串，可以使用contains函数
# e+ ]; e% [! |: Q contains(abc,ab) ! i9 s% D5 [; D7 N' N$ h
判断字符串中在哪几位出现某种字符串，可以使用regexp函数
# I2 i2 d: @2 I1 t- [# Q regexp(abac,a)
; R; N% v0 o. |4 U& K" Z1 B5 i 更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位 # p+ r% I/ N% O) b- G" X
a = strcmp(Cell_variable,abc); H5 V5 Q% \! [4 M* w4 T8 c
b = find(a == 1)
2 _9 y2 C. ]2 s# L2 [5 D. ? 同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位
9 v9 `3 S* S s& _- C- y2 G; I4 R p a = contains (Cell_variable,ab);
; X f% U7 E. ~. E4 q b = find(a == 1)
+ L) r* ~8 [0 h9 G- c( L( L 掌握上面这两点，在平时处理cell的字符串，基本上就够用了
n/ T8 _* T Q$ T( [" m' K# ?1 b 3. 文件的读取写入
2 f: E6 l( t& U6 f 文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出 - K7 e N; a. ]0 H: o) t
mat, txt, excel是平时最常碰到的文件类型
* W; {/ O8 p) Z$ L; X mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存 : }. Q$ n0 V; n- L
加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存
6 ~7 H) Y* f9 }1 d5 w- ]" O txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法 ' a2 ^# u8 D$ c Y0 {4 A
第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过
3 B$ h4 d! L. l4 o" i, F 另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等
3 Y! z5 X9 U( q1 S; s 导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式 ( J2 v& f$ _4 t3 ]( I, b$ o# j
. p2 B* V* d0 l0 A
7 o% \0 _: p8 _) ] 5 p6 F o7 m2 ~' r4 _
txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码
5 ?3 U2 t9 N6 B6 J+ [, I fid = fopen(test.txt,wt);
: }' N6 h, U( G( N8 R( q& ^ fprintf(fid,test1\n);' |) B, I. \' p' C9 {8 O; f1 R
fprintf(fid,test2\n);9 q+ k7 l+ D% j8 I- x# i/ c
fclose(fid); " |. O3 |3 p# a3 y
关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。 . }( M% l9 { \! E4 P7 a
最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入
5 X N& m7 Y3 _/ N# d% }/ t5 t [num,txt,raw] = xlsread(filename,sheet,xlRange)
: E, s+ L/ m+ K T( U8 ` xlswrite(filename,A,sheet,xlRange) 4 `. Q- s$ @$ o2 [ x! v+ W
但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable
V/ N$ s# u6 z; y: L5 \9 v T = readtable(filename)! ?: i* O# N9 U4 E0 v
writetable(T,filename)
5 x) B5 u# U: \4 p
1 K9 T8 x. v6 M2 i 如果数据是cell元胞的话，替代的函数是readcell和writecell 4 C% _9 y1 @$ f D N
T = readcell(filename)
1 X& ?% E/ c, I- W1 ]) ` writecell(T,filename)
V3 v/ E4 O& E7 b3 A! l0 P 大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别 ) o5 y9 @* I$ Y. K' {( K
4. 数据可视化
) |7 Q& s4 x5 f0 g+ A6 B+ v! [; N 数据可视化，结果的呈现，也是数据分析过程中至关重要的一环
) l/ j0 V G- [6 j( |' }. O" h 像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等
7 B, U% R+ b9 t% }6 R- K# S& N7 V 这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法
8 n2 F2 D, u7 a3 B3 E \ 在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了 % S. W1 n. Z* f& g% @
2 R# t- o8 q! F, B- p ]
不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜
+ ^! s& p. \9 V9 W7 [* z 在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用 ' g- ^$ K1 e# p/ z% J
1 I: h7 O z, f o& Q# ?
8 @5 q8 I4 S7 O) p, L ( W3 V& H T2 S" {) M0 U
5. 数据处理的常用函数 ) {# L4 D8 D/ t
关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差 * }8 R0 k8 d2 b2 J( {
再安利大家几个平时我在处理数据时最常用的几个函数 $ }/ C& y& i/ b1 j# U
第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用
' M& {$ P$ }& E C = unique(A)
/ p2 i5 A) |" u/ L; x+ v) W9 q+ c9 H unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了 9 C; s& o V5 c. a {3 y
第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样 " y- u2 L7 w8 V1 t7 V3 {- ?" j
sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序 ! N, f; c# P, \' ~) I6 z
B = sort(A,dim,direction)
4 a2 z4 u$ J. X* z$ N6 w2 R9 V& Q4 r! t sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序
4 E6 R) k3 I1 I+ U5 z, D; |! Q# J B = sortrows(A,column ,direction) - z- p* u% J9 U4 y3 f, `) l
最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比 $ t/ S& l' f4 i' t# Y( ~$ ~
再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果
& T& x% L9 M9 _5 Y+ j
4 r( y* B. L& c2 u8 x 除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种 \' j. }! _0 Y7 { F$ S0 L; v
比如reshape，可以根据自己的需求对数组进行重构 8 @/ T' D m4 S, _
isequal，可以用来确定两个数组是否相等
- z z, G3 B$ i w) N) y V% x datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间 ( ?9 |% ]7 e$ {+ y
常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区
# C# \4 c4 M; [& z2 r/ p3 ^ }0 K0 Q8 ?* h5 M. Y
6. 数据爬取 5 V0 Q; O9 u1 [, Z( [
数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因 6 [! v' c) |& w6 K8 D6 o/ E3 h4 S1 Q
建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的 1 @6 n0 S( m4 o7 B5 B8 q
最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析 & t. `6 a( T# {% e9 v/ d: }+ L$ F0 ^
如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取 . d7 i7 L( ^2 r6 }) z, |
data = webread(url)
4 W- b3 w8 n% y! o! y0 D 爬取到数据之后，再通过regexp函数正则法处理网页数据 3 ^' Z$ D3 V. C( M! ]9 Q! Q5 p. }( Y
这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧) 0 f( C$ v* _0 y
7. 薅系列工具 % P- A6 i) K+ q$ ]) Y! d$ b3 O
最后一部分要安利给大家的是，由我自己开发的薅系列工具
1 P* U& N0 v, a2 Z 目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用
* V& t. A: S5 l 虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式 + M/ k2 C+ [" U0 V
; K! ~. P3 M* M5 P" n5 F
- g9 G$ e: w5 J* @/ O ?: }$ a
9 i' Z6 H; e; A( b+ b) M
! k6 n" J* _ |4 g3 f" H3 G
我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式 8 a' B8 j3 S% \4 g3 d. ^
( @0 M) Q4 j+ p- {! u
打浦桥程序员：背几段MATLAB代码就那么难吗？ - \& u9 B; n% e j& a
7 q$ Q$ k; U2 K2 h5 V: u, V
% d# t/ h: H- v% q& O6 V: a6 }% W
; x& ^ a( W* \$ F' a# h0 ~" W$ F
, @) `+ E( k( z$ D( Z- C% t) U$ l! n 另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式
! l% S3 ?# e3 S1 m) k8 g % I/ q8 Z0 _: q
# a3 F" G6 N& u4 o) Y& x( V
& k' N3 I6 U* J
9 [# G$ O" p( F3 K' Z 薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具 " S+ x7 e9 k2 s" n7 P: t
4 q* ^) n: L0 b+ O2 O y" f 不知觉间，写了这么多字
! @$ N n8 B5 q+ n 今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯 5 n' w9 ]4 [# x) f! [* ~0 _2 ]4 V
希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充 ! g( l2 f, s! u! H, E, @1 G
如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员” $ J; D/ x# b9 `0 E* q6 Q' l% M) g
2 ~7 J) X5 m& I* w. K
" @2 B: O2 m4 _& D4 W( I& M$ o! A7 a0 `
8 N4 `0 J8 h& s) ^7 n% K; w; n. _ | 
