|
0 \/ g3 }! Z( |% K I
最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计
' K' Z, s2 n. T9 p+ C% } 所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧 ' {; I4 s& j9 _4 s
正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助 ; S1 n+ b! S9 t' |# Y, M
虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的 4 |- U3 ^) N0 Y
1. 数据类型的转换 # x' A8 q0 l0 R, }+ E" n
有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换 ! E0 A6 R8 N: x |7 `
至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型” I; A: X: J0 ? | @8 p1 W2 {, b6 l7 O
- h, t* Q$ `5 ?: a: F, H: W 通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct + Y; j. _# S$ L4 {6 d- y T
我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了
7 S7 a$ t: X4 }3 I/ A( g 6 v+ N4 F* r+ W4 p( ?
2. 字符串的对比
4 M5 h) u$ t( O" E- s 第二个经常需要处理的问题是，字符串的对比 5 k3 P* `/ i2 k9 i* n. {4 [2 V
这里不单单指的是字符串，还包括cell元胞里面的字符串定位
& S- M& R& x! t 如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比 ' m1 t: H. Y+ X! U& ? u
strcmp(abc,abc) ( V* z% C) z. Q
判断字符串中是否包含某种字符串，可以使用contains函数
7 e1 o7 _0 T. t' @1 V contains(abc,ab)
+ r1 m. E. }) l/ j 判断字符串中在哪几位出现某种字符串，可以使用regexp函数 o& b& m8 F/ N' O8 |$ \
regexp(abac,a) & a( H8 H; Q5 J1 L) i$ d! \. Z
更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位 - W; P* @$ h! }
a = strcmp(Cell_variable,abc);3 P3 Y( g# b9 C+ u2 d8 \1 k- k9 w
b = find(a == 1)
* y; K5 ?2 w& U F& { 同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位
X- N$ U" r ?6 C a = contains (Cell_variable,ab);+ |7 P0 c' o* }5 i7 h7 H
b = find(a == 1) 2 T( ^% o4 X0 a7 h3 u
掌握上面这两点，在平时处理cell的字符串，基本上就够用了 Z, u. @/ K9 [- O- f8 s# Z: w
3. 文件的读取写入
- I9 L) l+ w5 I$ c! J 文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出
& m: \* e3 |8 u$ G mat, txt, excel是平时最常碰到的文件类型
$ o0 S2 D$ y& |, p& N" A8 F mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存 W& |* S% F. u: l1 Y9 V
加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存
: m4 C& [# n; J( t2 b. Z txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法 0 j3 n6 C% e* J8 P1 E9 P" z# C
第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过
. [: r0 F0 u% Y, q# k 另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等 7 y7 l0 Q6 b4 Q# f# d
导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式 I# e9 s0 C k
8 K2 ?& a) Y" A0 X4 ^# {$ h 8 @3 t5 q8 Z. V4 H- E
; B9 ^9 ^; }. K& a, z
txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码 3 n. H4 h6 f# w" n/ z7 k
fid = fopen(test.txt,wt);8 [3 p/ @4 z# f) g5 Q1 s; V
fprintf(fid,test1\n);
7 Q0 R( F1 y- m) F8 @7 H( O0 g fprintf(fid,test2\n);5 m% j1 f' H+ r" V/ x
fclose(fid); ; o; I) n0 o# |" s& C6 o0 u
关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。
, y0 \0 I6 T7 {' s 最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入 , e* E/ v- V# M5 f: Y4 [- a! f0 ?
[num,txt,raw] = xlsread(filename,sheet,xlRange)* k6 a# n3 G7 |% \) u6 Q: M
xlswrite(filename,A,sheet,xlRange)
# ]' e# i: f, T6 Q3 c 但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable
! d# a9 z0 j( `7 _* c; |: m T = readtable(filename)4 r. h' l* `0 E) T c; M
writetable(T,filename)5 ]1 D% O: T) G! `# X
' I' K; g2 K0 ]" G 如果数据是cell元胞的话，替代的函数是readcell和writecell * c1 E& F( F8 h6 y5 x' c, R6 e
T = readcell(filename)+ U/ j& Z3 \9 a) ^
writecell(T,filename)
& q7 D$ P) v3 Q9 L% l5 l3 ~3 I 大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别
7 _, H; b4 w; A8 V 4. 数据可视化
2 I6 g$ s- s+ \1 H6 y" K 数据可视化，结果的呈现，也是数据分析过程中至关重要的一环
: h- m6 G( j7 I& G/ \7 V2 t2 @$ a1 F 像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等
$ B' @7 j# }- ]0 `6 n 这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法 & j2 l/ H; R# w& w! ~
在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了
9 C; R. k+ B) M' k
6 L1 J0 M" L- q& k" w: I( E 不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜 1 S4 S. l, d2 X& r4 m
在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用
9 v; j# ?) `/ i J- ]. \! A
' v& |8 p% s! z- g0 ?" o
8 r! D4 t! i. o( U1 \4 I # N; r0 R+ T9 I2 l. T
5. 数据处理的常用函数 1 ?) N: c: n* o6 r5 r7 {
关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差 * v1 q s- ~+ f$ |
再安利大家几个平时我在处理数据时最常用的几个函数
& I F0 X% Z) K6 J$ g" p5 x F' E 第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用 6 k) q! I3 J- T3 r
C = unique(A)
U; ^( ? i. N unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了
& k; `0 d6 ?2 a [( K+ H 第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样
3 G: h# S% F) y2 ^ sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序
5 I' X: v- }6 ^ B = sort(A,dim,direction)
/ |9 F6 W9 h) a) E sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序 ! b% u5 W1 w" Y3 T: s, X& j, Z: J
B = sortrows(A,column ,direction)
% P' v/ t1 I8 s0 d3 U! Z+ P 最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比
9 O5 E' h) ]4 Q' e1 q. d8 D 再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果 7 H+ N$ f7 Y) J' N& C1 z8 Z1 ]
; p8 d3 G: ~ f9 P- a0 |
除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种
; b+ [) ?2 z K( j. e# Q7 ~ 比如reshape，可以根据自己的需求对数组进行重构 / _: E7 N1 F( @ d8 y5 U0 B
isequal，可以用来确定两个数组是否相等
6 v0 U" n: q8 A3 Y datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间 " F: |" \, j# _. r" s
常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区 / v/ a8 M @4 r, q" t% F
5 ~3 M/ i1 E' _% r4 }' N5 s4 k% P- K
6. 数据爬取 & k0 B( F+ u4 R# U- w
数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因 3 s* G1 ]# {: O" G( S: O, V
建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的 . \9 b1 A+ i6 {) @9 _
最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析
( Z" g% S$ m, Y) F8 C9 I- G$ t 如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取
9 P' z0 m2 N) H& [" H7 @9 l data = webread(url) ) }4 v. Z. H7 ]) L" H9 N
爬取到数据之后，再通过regexp函数正则法处理网页数据
/ `$ @* r) c5 O 这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧) ! M( v2 A" {' U W$ \! s
7. 薅系列工具
) T2 K; _3 d& P7 O8 U6 } 最后一部分要安利给大家的是，由我自己开发的薅系列工具
8 l$ ^- l# f5 z: r! T. p 目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用
: q& F p: g. W( f8 U 虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式
$ k; L7 d& e# P7 w4 i ; x, t$ j5 M( N) J2 `% h
7 x' u0 X' w( S$ Z6 d( K) F
6 A- e k2 N* N5 [/ G2 o/ a 0 c2 ~, g8 K& P
我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式
, F0 O) ~" Y$ b; b, m7 T. R5 H }. s# B4 @6 N7 Q6 L( J5 o
打浦桥程序员：背几段MATLAB代码就那么难吗？ ; N+ I; {# d2 b
* c# x5 ?. s9 B4 O! K
. |+ {; o$ n1 l" z* q+ Y4 U - x5 D/ G* c4 G6 e7 I6 z" f S
8 {- g* m# t5 @! P) Y 另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式
% n5 Q& P: I/ k& t* j1 C . L5 D/ e- Q2 R2 J! T+ P+ }' A
3 u9 @ k( p( j/ Y1 Q3 \ # F& r$ z; H8 |
_, [+ E4 {4 k, Z
薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具 6 U; x b+ Z* r: y) b9 U
/ M# _' N+ Y9 i! M/ @) J, |" k 不知觉间，写了这么多字
+ s! Z) @. o( z3 N5 | 今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯
3 X9 Q# i7 M/ | 希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充
; d- H) P" R& W X) I1 X 如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员” 0 u4 x5 C) ?# W1 l& X5 Q, b0 l0 X
# h, j+ w4 {& a7 g, b2 [& M
$ T: o6 E0 d/ { l3 @+ r' e: j9 l* h) u# [2 Y6 p
( T1 }$ I T' u5 s' ~4 H
| 
