|
6 W) L# Q: O+ k3 `4 Z! }
最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计
: j, U/ p& c; O, s' h* {/ \ 所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧
& I: l% a1 X/ K# @: ^$ E1 Y 正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助
0 Y# E) O) Z D: i" x9 l 虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的
; N# y M; x2 ~% @* y3 f% T/ q2 D 1. 数据类型的转换
6 \3 U3 E5 S( V5 j) ~ 有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换 8 ?+ C" E# U1 ^5 x% }4 A4 l; }
至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型” ! P" @7 O2 n6 l; r$ v
- j$ B( h1 t0 R R+ o
通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct , P. w M; n6 ?5 @$ Q
我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了
8 w$ ?9 R$ e/ `' [3 Y
1 p! M4 S, Z$ ~& Q5 q c* O4 ~ 2. 字符串的对比
; t/ v% |8 J( E 第二个经常需要处理的问题是，字符串的对比
- c) a. ]- A1 F$ b 这里不单单指的是字符串，还包括cell元胞里面的字符串定位
$ W$ c0 F, ~2 B+ S& x1 r7 u 如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比 # v' t k5 l' t3 o, u" P2 m- w
strcmp(abc,abc)
) o( T# P/ ?- K1 @1 w; n: q$ X 判断字符串中是否包含某种字符串，可以使用contains函数
' i' q5 u( e6 ?" }9 v% G contains(abc,ab)
' Z( u v! H) D, ?9 A+ ?6 \ 判断字符串中在哪几位出现某种字符串，可以使用regexp函数
: z @) ]# X, U. F6 w# t regexp(abac,a) 3 |& Y- A$ M9 A" f
更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位 / R! r5 \% n- r/ U+ u" H
a = strcmp(Cell_variable,abc);
* M& W" U) i; V, i& b& P b = find(a == 1) 0 j6 d8 ]7 T, P$ d4 Q9 ^6 j6 Y
同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位 4 D& t. Q6 f1 @4 I
a = contains (Cell_variable,ab);
3 ?5 s3 }2 t6 D3 W% ^2 L5 B b = find(a == 1)
) h/ A( ?5 [/ x z 掌握上面这两点，在平时处理cell的字符串，基本上就够用了 . ]: |9 l/ \# {5 c8 \& K
3. 文件的读取写入 , v* _- E; M D6 e* |/ L/ E' C
文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出 0 E5 S- x6 T: X5 i" h* Y" N, c
mat, txt, excel是平时最常碰到的文件类型 / X7 {: [# x* F1 R3 B6 ~
mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存
- @ @6 ]2 k+ X( ^2 v! F8 P- t 加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存 9 ?* X! c# O4 ]- m6 H' ^
txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法 ! D2 p5 ]1 x; B) p7 ]7 \* a7 |
第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过
/ f1 f$ \) l! ^ 另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等
9 x3 C& _- G4 q# b! ? G4 r2 Z7 i 导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式
. o. f0 _/ _! y' q* c
, L4 p5 P3 u. e1 x6 @ 2 D0 z O' R2 D4 e; f
( f+ R& q- r6 G1 F# U$ e+ t7 I txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码 6 T6 `, q' d! `5 n
fid = fopen(test.txt,wt);
. X$ n4 b1 n: E fprintf(fid,test1\n);
) I8 `* }# u, M fprintf(fid,test2\n);4 @1 Q% i! M- _8 ]: l4 [3 K$ y
fclose(fid);
7 z0 H( Y: }$ s8 k 关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。 / Q* i9 T4 f1 Y
最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入
, J, ^9 y- [* E( @4 R [num,txt,raw] = xlsread(filename,sheet,xlRange)% @ L" x5 o5 K4 b" G; c
xlswrite(filename,A,sheet,xlRange)
- I: j7 ]( F( A9 n0 V' a2 @ 但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable ( \5 ~& {0 u$ E; @1 T2 k8 N5 f0 V! v
T = readtable(filename)! ?0 W1 l& ]$ g8 p- ?& n% y: {
writetable(T,filename)" @; l( g! l7 ]+ W/ c8 l, g
$ o- f/ i# v; P0 w! U0 G 如果数据是cell元胞的话，替代的函数是readcell和writecell $ O5 @: W5 q! @' [
T = readcell(filename)
$ ?, h* w4 t& U& e5 Z- \1 \+ [ writecell(T,filename) 5 M& X- A+ b$ z8 o! o' Z
大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别 - r+ L; A5 [8 v6 o
4. 数据可视化 A$ b6 H7 `7 g) x0 w; o
数据可视化，结果的呈现，也是数据分析过程中至关重要的一环
) x1 l2 k5 j% m2 M0 @3 G 像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等
" _+ Q6 X3 a8 ^/ I$ o$ o 这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法
4 L* ^1 e& R Y5 d( L: ^ 在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了
* v) Y$ Y# |5 m+ ~- V6 e , {9 I9 W- N" M- P p
不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜 W2 N6 z* S. T C
在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用 $ P" I: Y; j# i' M3 [6 h2 L
) Q8 L& f% t: w6 Z( T2 v! Q" d" z
2 e5 v# k% v& c' b6 [2 R4 l
- a# V2 \; E6 [( w' m( Q 5. 数据处理的常用函数 / x# _ [. \! S" X' w5 U
关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差
0 z# b8 i' K2 p/ h 再安利大家几个平时我在处理数据时最常用的几个函数 " V0 |4 g1 ~1 z- q/ F% l
第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用 & _) }! N/ s7 H
C = unique(A) % D u5 p3 S: e* ]
unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了
( K9 z: U1 E. {. a5 h 第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样
% P' k; b: v R. Q- h- O8 u sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序 8 W7 V1 l. b5 \( r2 X9 [$ Q
B = sort(A,dim,direction) ( [9 H+ I0 V, u. i8 e- l; L! K, ^
sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序 ( f% q$ k- ]7 C( T6 r C& W0 }" P `5 d
B = sortrows(A,column ,direction) 4 W* ?! w0 } i1 h, {& M7 i. T- ~
最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比 2 R8 J8 [" u. f
再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果 % G% V3 E5 D _) `+ n
6 C& b$ \) E/ z1 {- \ 除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种
4 P* M8 v% I& @9 |6 R3 d8 }- c 比如reshape，可以根据自己的需求对数组进行重构 $ j* J3 s$ h* a" H& ?) E8 `0 x
isequal，可以用来确定两个数组是否相等 , q; }$ c6 w1 H8 n7 Q
datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间
. E+ u* U7 [2 L9 w 常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区 - A& V9 d+ N. P% U; s
: B! w% a* _+ P; K, X: G 6. 数据爬取 ' }! C$ b3 _- G+ I# Y( o) }0 V
数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因
1 T8 R" d4 O! x) i 建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的
x' ?5 H/ l9 L* V/ Z/ }! U2 z4 Z 最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析 # _) ~( Q' Y( J% x$ b" R+ x
如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取
3 s5 F" ~4 ?% @' L8 |' c! v: c data = webread(url)
4 q$ v! Y. I4 Q 爬取到数据之后，再通过regexp函数正则法处理网页数据 3 W8 } @" j6 U: i. H+ g
这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧) ! x3 `! @4 f( g
7. 薅系列工具 ( Q; r0 Y3 X/ e
最后一部分要安利给大家的是，由我自己开发的薅系列工具 ' V) `1 B9 A/ p; L e& r2 v& |
目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用
% b) \: X% P' C 虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式
% A6 a; }# R7 b- S . l# K" k" |2 A* p
: m' s( D2 A& i( L ; [7 }3 a& j9 B8 d* E/ j
- J6 N* I2 [/ g: w/ |- c3 A
我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式 . G: }4 W+ B! T& M1 y
: y7 l0 l8 h9 r
打浦桥程序员：背几段MATLAB代码就那么难吗？ * i7 j& L. q. C/ z
9 M* Z* S B* R3 |! N: l! ?$ `3 G2 p 1 q3 T- K( D" k8 N4 c
! h, N8 C* d3 Q# G6 q% a/ k
0 r$ Z9 G8 q* s# N; g! {$ O' x 另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式 - j& e/ i; E& \2 S: o" U) L
" S6 p3 H$ B; D! T7 i
+ L# R1 \5 f7 X8 `3 S8 |
1 i/ n+ F% q' c) X7 n1 y T
1 `9 Y; C1 }, j! z# h 薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具 9 T, l' Q: P! n [: F B D
( O5 n% W' F$ r6 n& k- p, R 不知觉间，写了这么多字
4 K6 {* h' |. N+ A* e( u1 ? 今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯 # G$ p" }* I L% ~1 s+ f
希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充
1 x4 N1 c5 ~4 A7 A$ R i 如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员” 6 g ]- x. {: S j* w5 n) {1 T
! E2 b+ J; F# [
$ h9 G% o0 K8 Z% a' x
+ h+ j3 B8 t T c5 H! t; f, N* U& r- h; B4 O2 Y( U" ]
| 
