|
- _7 x: ?. s) ^) I& y
最近一段时间,工作上花了不少时间用MATLAB处理工厂下线的数据,数据庞大不说,复杂度也高,各种推算和统计 5 Z) n! z$ ]9 S8 t/ A% k1 @; g
所以今天我打算总结一下,平时我在用MATLAB做数据分析时常用的几个小技巧 # M6 v' _) D, V" \! w
正好全国大学生数学建模竞赛下周就要开始了,希望今天的分享对参赛的朋友有所帮助
& N! Y" O6 M% s8 W: A* Y$ V) m4 Y 虽然不知道到时候会有哪些选题,但是能肯定的是,不管是什么题目,都离不开数据分析,这是唯一比赛前能好好准备的 5 ^# d e$ x4 ?/ n& U6 ?
1. 数据类型的转换 " _2 z+ w3 \0 ]* Y: R
有一类问题,不论你MATLAB水平如何,平时写代码的时候多少总会遇到,就是数据类型不一致,需要转换
5 Q5 o4 ~! W b- ]7 y 至于什么是数据类型,这个问题我就不科普了,大家可以直接在MATLAB命令栏“doc 数据类型”
1 F; V* _: D8 A- S : P6 a8 L& y0 H! u8 [" ~
通常在数据转换这个问题上,涉及到的比较常见几种的数据类型有double,char,cell,struct
* D) T, M7 t+ x 我给大家准备了一张数据类型转换的关系图,用class判断一下转换前的两种数据类型,然后按照下面这张图处理就完事了 . w2 L' r I& R2 ^
) @& D" F% ]8 x
2. 字符串的对比 4 ]( d, F) M* ?4 j7 `4 U
第二个经常需要处理的问题是,字符串的对比 $ |- X, a0 X, Y B
这里不单单指的是字符串,还包括cell元胞里面的字符串定位
$ U+ U" d$ R" a* `% y) b 如果单纯只是字符串的话,要判断两个字符串是否相同,strcmp函数可以实现对比 ; D; F" v# F, B3 n" U5 ~
strcmp(abc,abc)
7 L4 ~9 ~) Z/ ~( Y% K! Y 判断字符串中是否包含某种字符串,可以使用contains函数 ; g4 f( J# T, ~& ~: @
contains(abc,ab)
- j: Y+ C, Z2 ]4 j& u- o: K 判断字符串中在哪几位出现某种字符串,可以使用regexp函数
# z$ I7 ^* E3 x4 d8 O- T* n regexp(abac,a)
0 D4 Q) Q' d, h 更常碰到的场景是,在cell元胞里面判断字符串,比如维度1x1000的cell中,定位哪几个cell里面的字符串是‘abc’,还是通过strcmp实现对比,再通过find定位 5 }" x& o0 V! n3 J5 q3 o" M1 P
a = strcmp(Cell_variable,abc);6 _5 H6 u8 X8 w( J
b = find(a == 1)
# I& b0 u# d- J 同样,要判断这1x1000的cell中,定位哪几个cell中的字符串,带有‘ab’,可以使用contains函数,再用find定位
0 ?9 Z* p& B3 K5 M4 k9 J a = contains (Cell_variable,ab);, q: j" L7 e+ y* w: \' B1 N
b = find(a == 1)
7 D- t) ]2 [/ P6 ^ K- f9 [ 掌握上面这两点,在平时处理cell的字符串,基本上就够用了 ' M5 z7 `8 d, P& Q& Z
3. 文件的读取写入 : g. v& j7 ]" z5 s6 N* C; T9 s
文件的读取写入同样非常重要,在数据分析过程中,对应着信息的获取和数据处理结果的输出
( }& t4 p; U4 O" \ k2 ~" g( _ mat, txt, excel是平时最常碰到的文件类型 7 R* t7 P) a$ h: }+ ~6 k! S; G/ d# @
mat就不用多说了,MATLAB中的一种文件类型,用于存储workspace中的变量,在数据分析过程中,可以经常把运算结果或中间阶段的数据,作为mat进行保存 ' [$ j3 ]" l' a; ?& ?% s
加载mat文件,用的是“load 文件名”命令,也可以双击mat文件,保存mat文件,用的是“save 文件名”命令,也可以workspace右键保存
6 o3 m# C( D( H; `6 h) L1 \ txt的读取方式有非常多,网上也有各种各样的介绍,我就介绍两种最常用,也是目前我一直在用的两种方法
6 D+ c- b+ J2 T) T9 A 第一种是通过importdata(‘test.txt’)命令,读取的结果是一个多行一列的cell元胞,后续的数据处理也就方便了,cell里面的字符串定位处理在前面也已经介绍过 # n' b. k4 m3 ~ c7 o9 N
另一种方法是,通过MATLAB工具条里的“导入数据”按钮,这种方法的一个好处是,导入过程中有很多非常人性化的设置,比如数据的分隔,范围定义,数据的输出类型等等
3 [+ _3 T' e4 o4 v9 o) j2 d) e 导出的选择也有不少,可以选择直接导出到workspace,也可以选择生成脚本或者是function,方便同类型文本的重复使用,对于不太喜欢写脚本导入数据的朋友,我比较推荐这种方式
2 J! ~2 ?$ d9 j1 T+ N/ S " |+ O9 p9 f- @# [
8 }! Y! Y" @- n/ I" W) W7 Y
) p1 [* Q4 }/ y4 _ txt的写入,可以通过fopen,fprintf,fclose实现,基本上我所有GUI中关于代码生成的功能,都是通过这个方式将代码写入m脚本的,给大家举一个简单的txt写入的例子代码 0 L1 E. C7 y H0 l$ K
fid = fopen(test.txt,wt);
/ l) K- v! u- F% c- x9 { fprintf(fid,test1\n);
- |/ q# G. {$ M, u fprintf(fid,test2\n);! Y5 N7 e- x% I
fclose(fid); 2 m* D+ g9 M9 h4 l$ j7 {4 H
关于txt的读取写入,我再多介绍一点,txt是文本文件中的一种,就是那种右键打开能读得懂的文件。类似的文本文件还有很多,像m文件,mdl模型文件,dcm文件,c代码等等,只要是文本文件,都可以用txt处理的方式,对目标文件进行读取写入。
8 n& U# g i; o/ p5 O, J 最后讲一下Excel读取写入的问题,常写MATLAB脚本的朋友,对xlsread和xlswrite肯定不陌生,对应的是Excel的读取和写入 % r' V% @3 j) N& K* e7 g
[num,txt,raw] = xlsread(filename,sheet,xlRange)- p4 R7 {6 y* @5 _# i& ]1 x( V' P
xlswrite(filename,A,sheet,xlRange)
( I0 p- i9 Y% I# x! _: M- q 但是目前MATLAB官方已经不推荐使用这两种方式了,替代的函数是readtable和writetable # k) G; j& p( t
T = readtable(filename)
+ ^* ~0 g9 }, s7 V+ s$ N% w, ^0 C; L; V writetable(T,filename)
4 ~5 f% F; v5 K. | . t# k! d/ e1 t- F2 i" ?
如果数据是cell元胞的话,替代的函数是readcell和writecell ! N1 L) M* P: p+ ~$ m, @
T = readcell(filename)
[* }' ], C# W: _9 v8 t5 { writecell(T,filename) 4 P$ `' X7 h9 I7 r; `. X, Q: }$ M
大家根据自己的个人习惯选择其中一种方式,两种方式在功能实现上目前并没有太大区别 7 ?8 H; Q: l; h$ ~/ x5 Y
4. 数据可视化 4 ^) ?8 Z. t2 E
数据可视化,结果的呈现,也是数据分析过程中至关重要的一环
3 V: d5 ?) A7 H1 a/ g 像大家非常熟悉的函数plot,就可以用来画曲线图,但是有时候仅仅曲线图并不足以来呈现结果,还需要用到比如像三维图,柱状图,饼状图,蜡烛图等等
$ l4 z( {) g' T( y. J' } 这部分我并不打算给大家罗列各种图形对应代码命令,大家也没必要刻意地去死记这些代码,安利一个非常通用的方法
( }* s, V% }2 r. f U! i" R 在选择需要可视化的数据之后,在MATLAB工具条的绘图窗口,选取你喜欢的图形,就能生成你需要的结果图了 0 T* F7 I5 ~! c& V" T" c/ P0 d; \% o
( D" k& ^6 h$ L7 M$ O
不过,至于图片的细节,像title,legend,网格,还是需要自己微调,但这都不是事,再安利大家一个简单的方法,完全不用上网去搜 ' s2 ] K1 K* ^
在生成窗口中,点击属性检查器,然后根据自己的需要完善图片的细节,最后通过生成代码,就能看到这部分作图操作的原始代码了,大家也能在代码的基础上再微调,或者复用 3 y2 ?% h! M9 l" M' j% u/ A% j( A
8 y ~" k, S |( q' [% A S/ ` 8 S( T+ l* [* t1 o: ?
( m% h/ \$ d; o! j 5. 数据处理的常用函数
* |6 U; S% G. }- [' u; t 关于数据处理的函数,像max,min,mean,std这些函数都是比较常用的函数,分别是最大值,最小值,平均值,标准差 ' s3 u9 r# t n5 `7 @0 {
再安利大家几个平时我在处理数据时最常用的几个函数
% I0 `5 @* P/ b+ E1 J 第一个是unique函数,可以把数据中重复的数据删去,保留唯一值。unique这个函数不仅仅对数值矩阵有效,在cell中同样起作用 & W+ w0 T% c' X' X% x
C = unique(A) ( M' [) g' |2 a; d/ G \
unique还有一些拓展的语法和功能,有兴趣的朋友可以在MATLAB文档中查看,不过光这个基本功能,就已经非常够用了
* I6 P, E/ q' A# k( Q7 x* ]* i; I 第二个要推荐的函数是排序,sort和sortrows,两种函数都有排序的功能,但是使用场景不太一样 ' |( i: ^7 Q* Z
sort的功能是,将矩阵或者cell中的每行或者每列进行升序或降序排列,其中A代表待处理的矩阵或cell数据,dim的选择有1和2,分别代表对每列和每行进行排序,direction的选择有ascend或 descend,分别代表升序和降序 . |* ^' ?. n. K& @9 p! t
B = sort(A,dim,direction)
H+ \7 m3 ]& w9 L! d/ W sortrows的功能是,将矩阵或者cell根据某一列进行升序或降序排列,其中A代表待处理的矩阵或cell数据,column代表根据第几列进行排序,direction的选择有ascend或 descend,分别代表升序和降序 $ q, R7 u' v% f+ e3 c3 k5 I
B = sortrows(A,column ,direction)
2 t4 d6 D, _& B, s 最后推荐的一个函数是tabulate,非常强的一个命令,可以实现对数据的统计分析,输出的结果有三列,分别是去重后的数据,出现的次数,已经对应的百分比 3 n2 y& I7 v N/ w0 Q
再结合sortrows对tabulate生成的结果进行排序,就很容易获得各个数据根据频率进行排序的结果 . Y/ |% s; j8 a9 l5 |0 L+ P
% A7 E1 | P* g: p/ V" O# ^
除了上面提到的几个日常比较常用的函数,还有一些我非常推荐的函数,平时我用的不太多,但是如果用到的时候找不到会很抓狂的那种
+ J. P: l ?3 r 比如reshape,可以根据自己的需求对数组进行重构 1 V0 {/ Y7 S& {$ r+ |
isequal,可以用来确定两个数组是否相等
9 D6 `: h8 W* i( o% j' s datenum,datestr相信大家比较熟悉,可以将日期转换成序列值和字符,平时在处理时间相关数据的时候,还可以考虑用years,days,hours,minutes,seconds等等来计算持续时间 ! x% [( y) b$ B' |2 J/ O
常用函数这部分内容就介绍到这,其实还有很多非常赞的函数,欢迎大家把自己喜欢的函数发到评论区 4 Q- _+ |. `1 ?: n) e% O6 Q. K
8 @8 k* N" `3 G9 B. z8 W
6. 数据爬取 ; O. E4 h& v6 x# a& u/ a0 H1 [0 d' [
数据爬取部分,其实我想讲的是爬虫,不过也不能算数据分析的技巧,我讲这部分内容,更多的是出于建模竞赛的原因 1 z; y& \3 d( H0 I4 ` |
建模、仿真和验证,其实是需要数据的支持的。脱离实际意义的建模,靠拍脑门做出来的结果,都是不提倡的 * i5 I- b" e9 L' F+ c
最简单的情况,如果有现成的数据文件,可以根据今天聊到的第三部分,读取数据文件之后进行分析 & E$ i7 r& w+ D/ l) D
如果没有这些数据,我推荐大家使用MATLAB读取网页的函数webread进行数据爬取 * X$ O. w1 i% G
data = webread(url) ' ?1 G+ g; b7 E, {: p( o" c) r
爬取到数据之后,再通过regexp函数正则法处理网页数据 " N" v. {- l% O
这部分聊的比较浅,但也很难三两句话把爬虫讲完,推荐大家一个相关的MATLAB爬虫视频,讲的是我之前用MATLAB爬取B站,视频很短,一共7分钟,大家一边看一边跟着做练习,基本上半个小时也就全整明白了(知乎不给放二维码,有需要的朋友,直接上B站搜打浦桥程序员吧)
g/ f3 C0 A' h4 A3 B- [: f; H 7. 薅系列工具 3 K5 u/ [. t$ X: l" J; H3 d; t5 i: Q
最后一部分要安利给大家的是,由我自己开发的薅系列工具 # f; e+ b9 c! x1 |6 c l5 \
目前反响最好的是薅曲线(HaoCurve),从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说,拿薅曲线来做结果验证特别管用
' @/ P f2 X+ }! R 虽然这个工具我平时用到的不太多,不过就冲8000多的下载量来说,我还是很推荐的。需要的朋友,戳下方的文章链接获取工具下载方式
& _9 M V7 B p: @- D5 _ ; [6 n# k1 K7 l* H, P
) i* O! n% p" w/ _- S
7 X* v! U1 h. C7 I2 n
0 r& G/ Z; G- X 我个人用的比较多的是另外两款工具,一个是薅文件(HaoFile),里面的历史代码检索功能很强大,可以大大减少找代码写脚本的时间,在数据分析过程中,很多脚本和功能都是可以复用的,有需要的朋友,戳下方的文章链接获取工具下载方式
0 Z; t1 I6 M5 Z2 ?
3 W6 m5 a- s: c& U5 z 打浦桥程序员:背几段MATLAB代码就那么难吗? $ E4 J( [0 }) x+ _6 K# j% w
6 b. v. e: q) ?: T' _% w
6 D4 L2 g8 o4 W/ {9 X" ~9 v
5 w: i: Y0 V/ ]
( n' ?1 k( P& J0 u0 M 另一款工具是薅模版(HaoTemplate),如果最终数据分析的交付文档有格式上的要求,薅模版能就发挥它的作用,可以生成特定格式的Excel或Word模版代码,这可比自己手动去调格式方便很多,有需要的朋友,戳下方的文章链接获取工具下载方式
4 j6 p/ ^6 T h1 S ( F4 n6 C) r4 ^: L
6 R+ {% q# I+ V4 j, M
) M S6 @; m( w. M- w J9 S: S
; i/ f& k+ R3 _2 _- I1 y% @ 薅系列工具还有很多,不过在数据分析这部分,我最推荐的是这三款工具
+ w) P( `$ O; f% t* o
, U, ] d8 n9 M5 T8 s 不知觉间,写了这么多字
0 J/ G8 m5 g8 v/ ] g 今天总结的小技巧,未必是最适合大家的方法,但确实是我这些年养成的一些处理习惯 & O/ Z) {' p ~' k7 i
希望今天总结的方法,对大家平时的工作学习有所帮助,当然大家如果有更推荐的小技巧,欢迎在评论区补充
! }; i8 D/ {; k' U 如果你也对MATLAB感兴趣的话,欢迎关注我的微信公众号“打浦桥程序员”
: r P1 O( t! r$ S
# t$ |1 R4 z; [6 Y0 T0 K+ d% d/ S. n, m
. ?0 ?$ Q g; h/ I7 T& f: {$ J( v* _7 h& \, u: ]- B
|