|
+ m" z4 u C& B0 J! R& E6 ^ 最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计
* O/ J7 }7 e/ c# u 所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧 : E# S& d8 T& `" ?3 F1 g0 H* U; Q b
正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助 & S" i1 i1 a8 m! ]$ [( P0 F
虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的 5 t4 H: C8 W2 E" |* \3 z
1. 数据类型的转换 ' J+ p; h: W! D, k
有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换
# ^6 ?3 \% R3 e# N) S5 { 至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型”
! }( v1 R6 i3 f+ m9 ?# J, y& Q! c+ Z
* ~% b H A$ r" `( ^) L: G# _4 K7 R3 P 通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct ! [4 Q& J8 S( _4 i( e1 o8 z: V' A
我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了 1 {4 o6 @0 W' O1 Y, r( s+ m
, {6 Y# {2 O: J- h 2. 字符串的对比
( ^/ v- B# e! B( z 第二个经常需要处理的问题是，字符串的对比 ( Q4 L. f4 q6 u$ ^5 t
这里不单单指的是字符串，还包括cell元胞里面的字符串定位
! X5 M8 p7 X% |8 U7 m" u9 j 如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比 ' {& T* w: C% f n/ U1 k8 Z
strcmp(abc,abc) # {3 Z- r$ a* {) P
判断字符串中是否包含某种字符串，可以使用contains函数
" ~0 o3 U! m0 \' M% \ L contains(abc,ab) ( z4 M) ^7 e9 Q. A( ]) l
判断字符串中在哪几位出现某种字符串，可以使用regexp函数
0 s8 U& x) M3 y regexp(abac,a) " r& ^ W" z% P4 Y
更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位 / e( t& c1 O6 T
a = strcmp(Cell_variable,abc);
+ {2 Q5 s7 C4 }2 E b = find(a == 1)
( }0 @; ~9 c# h7 k0 i4 Q 同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位 ( V* s) f0 V8 I5 g7 v1 Z$ ~
a = contains (Cell_variable,ab);
# t, O& D& t+ J3 r2 s+ q5 f b = find(a == 1) * H3 U% R0 z5 z Q# V
掌握上面这两点，在平时处理cell的字符串，基本上就够用了
3 S: X- ~; T( E! J 3. 文件的读取写入 / e* P4 J5 A% ~$ Y+ \# W$ p
文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出
: p/ e% k5 u/ O- @ [" J mat, txt, excel是平时最常碰到的文件类型 . i, G/ J' t/ P& V. }! ?
mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存 ' s* E: f; d, D3 \9 U5 Z0 p' r
加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存 8 O& \5 K8 L- j* `
txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法
( N. X. Q! S& a4 N S 第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过
8 R1 i2 q6 l+ J( t! J/ k2 O 另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等
, x: ]" {% ?* L; S0 q 导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式
- X/ r2 X' D8 }* F0 N
" }, s) |# @. W
0 L8 Q6 L# } {) k1 [5 x
5 ^/ ? ~) \. B) S; V* ? d, F; h txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码
" Z/ h) @* |" b: e5 s" L+ a fid = fopen(test.txt,wt);
. c7 ~- ~3 z" U3 Z" e* L fprintf(fid,test1\n);
; ~ _. b* b3 r* @; @/ u fprintf(fid,test2\n);) O4 _! `# ~# [, I
fclose(fid); 6 L& q- r- p" B4 k2 ]7 ?- {
关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。
: G4 z7 J" {5 y- P 最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入
& o; [% `( e0 t/ V3 y [num,txt,raw] = xlsread(filename,sheet,xlRange)
2 g1 g) m$ q! a0 P xlswrite(filename,A,sheet,xlRange) ! V* u, V. t( x9 {5 j. w
但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable 1 f; b y- N8 N$ ^& s
T = readtable(filename)4 `. c: d: c( J4 t; S
writetable(T,filename)
& ~6 z2 @: Y* D& E: m 6 C+ a: n2 |6 f) r5 x
如果数据是cell元胞的话，替代的函数是readcell和writecell
7 ]( z3 ^. J0 A4 M: k T = readcell(filename)0 O5 q8 T1 a/ w) ]
writecell(T,filename) $ ~0 h' a- p1 k
大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别 ( y s6 i6 ^2 q3 j5 f
4. 数据可视化
/ y0 G4 M' p4 \6 x8 Y 数据可视化，结果的呈现，也是数据分析过程中至关重要的一环 % B5 j; l! R S" R. I
像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等 $ R# N% Z) x0 y) v R# y$ ]
这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法 ) G C3 `# ?/ T9 e/ b% r4 z2 y* v
在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了 : l" |" f; V: N% g1 x
3 B H. t; }. H$ F) O# p. C 不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜 & t1 k4 o* X; P7 e4 k
在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用
) G; u, V5 L# Y. M& x
: @: w8 m* h1 u. d- O1 [ / c* O+ P$ K* ~
) [3 s7 E: G, Z3 y) ~- u) j 5. 数据处理的常用函数
! @$ H% S+ }0 l7 z, V 关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差
9 v) Q) g( B _6 _1 r 再安利大家几个平时我在处理数据时最常用的几个函数 3 Y( f1 ~- t( h L5 J: c& F4 T
第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用
3 w/ l/ W' k7 j5 V C = unique(A) % ^% q) @5 w% @) |' W8 o @
unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了
: _ Q3 s- b$ Z& I; {& X- ] 第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样 8 U. c% C& x2 @9 a6 j) A: q6 {4 g5 V
sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序
( j9 v. c2 [: y5 e5 t' Y; K5 Y/ e B = sort(A,dim,direction)
2 K1 D5 D) U. Y4 E) W3 v' k sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序 " A2 X$ Q7 c- e6 m/ u* A% L
B = sortrows(A,column ,direction)
. e6 m4 d" h7 z2 A8 w H/ s 最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比 * B" p1 R# P+ c, M& p% @
再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果
K/ b; R$ V' U! Z" j0 F5 D- F
* `" A L( \1 D7 X! u! q 除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种
6 S$ b9 D: a7 s6 n. l% S4 u' P 比如reshape，可以根据自己的需求对数组进行重构
5 ?7 w9 p# e; x8 } isequal，可以用来确定两个数组是否相等
4 G g, o z' I5 I: J q @" H6 M datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间 " Y( u1 r; C I. \
常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区 3 H/ ?; c; Z. D; z" M' r1 A3 w
; u8 F+ E/ A) c7 s( }2 O 6. 数据爬取 ! F# b) T2 l `0 |! P" X
数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因 5 f6 @3 x6 h/ R9 ?# P
建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的 + P; @( b2 \4 X- A' n
最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析 - ^1 _4 ]* c" Y3 y/ y
如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取 2 B. B- W9 Y0 K7 P q6 ^7 a6 C
data = webread(url)
$ g2 S0 Q1 y! k, w, n 爬取到数据之后，再通过regexp函数正则法处理网页数据
2 y0 u! q1 G9 H: J9 c 这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧) $ R5 ?, E0 ]% c. ]7 C- X
7. 薅系列工具
5 \( h( H7 v6 G* I 最后一部分要安利给大家的是，由我自己开发的薅系列工具
& k+ E# Y( m* K9 i* o 目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用
& U8 y1 a# N" A2 ~5 F$ E/ n1 M/ ] 虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式
7 `9 B! v# w$ Y! D ( a0 s @& ~/ m1 F. A/ R+ K2 d. Z3 ^, y
c! ?' t( b u0 n+ I+ Y
! P3 y% y2 P7 i0 ^! X1 y
+ @5 e( L& {; \- P7 d' X 我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式
, G: i. Y* n, B v 6 C3 y* Q% e- ]& L6 o" H
打浦桥程序员：背几段MATLAB代码就那么难吗？ $ X! S4 K& a" I1 `& K7 e8 ?2 d
0 ~% A# {' M7 x+ ?- \1 [ q 9 Y4 k M, n5 w, T, b
# z- r; r8 h: I& o+ B; ?+ B
& K5 H# w6 d4 n6 H0 i. e" x 另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式 # a" ~: x6 [1 z3 M8 e6 f) V3 X
9 ]0 w6 [5 P0 D. S* D5 w6 X
% A9 F5 e0 e: I- z
2 @. F. r. {' A/ A3 b: s
8 B8 h( _5 a% i) I: ? 薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具
; i3 d0 W+ u' x
. r' }( I! R2 W2 D* i5 A 不知觉间，写了这么多字 ! J: b: i" }: |; v# e
今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯
# R, t7 G& `# j8 D c d( d 希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充 ( a% g" }9 ^- T+ L) k
如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员” 1 r- m0 f) W9 I6 V# H
, R1 b/ g# D, B6 h% v+ p2 w1 B+ }. L _8 X8 P% y
. h1 s4 v, N( n+ p$ p" V. f# o/ L6 h
| 
