|
1 [0 N3 \' t9 r D- g 最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计 2 e) ?. K/ `) R' ^1 f4 L0 o: _
所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧
5 R/ U. \0 R2 h6 l& X% t 正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助
3 {5 ^" d1 J6 x% \ 虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的
5 l8 H; x: K; O 1. 数据类型的转换
( {8 i, ] R: k# C 有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换
' ~2 n& n8 o) n. A8 f 至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型”
* g- V, W( l) z ' b0 u/ \2 R! T6 S y- @7 w
通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct ) l' e+ O- i0 w# `9 K( c# H
我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了 ) S8 p" t& m- `* t) P
( v' q* B9 D. f
2. 字符串的对比 : }' w: R- D. F3 o1 ^- D- l
第二个经常需要处理的问题是，字符串的对比 5 z5 h) {( j- l- ~. H# P( R
这里不单单指的是字符串，还包括cell元胞里面的字符串定位
: ?4 b5 H$ p! j8 ^% s- X$ F' A5 V 如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比
, S% \6 S+ P' X; A+ u, \& q strcmp(abc,abc) # z3 b; e# h2 E
判断字符串中是否包含某种字符串，可以使用contains函数
. E: R9 z- [' h contains(abc,ab)
4 U% E4 U' E, F$ k 判断字符串中在哪几位出现某种字符串，可以使用regexp函数
( e L$ @7 ?7 O4 B' b6 O regexp(abac,a) ; ]% u3 f! w" ~! @- @2 i$ u9 Q
更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位 7 x1 z& G4 f. U+ C
a = strcmp(Cell_variable,abc);: w" A( f! Y: z
b = find(a == 1)
% W& u) Z$ x3 H z- A1 R7 o9 f 同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位
% p# _8 d& |$ E/ n a = contains (Cell_variable,ab);
! B: u3 _# B: B# V b = find(a == 1) & z% Q. s8 u% _- L! w
掌握上面这两点，在平时处理cell的字符串，基本上就够用了 ! t9 K5 q( l' m7 S, M4 Y$ a
3. 文件的读取写入 ) h( c0 ]" Y2 f
文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出
4 U! P0 L' g3 h1 o; W mat, txt, excel是平时最常碰到的文件类型
7 |' F3 D* j8 y J+ m! _% q. e& T2 e mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存
: L* ?/ h, ^) `" [- h" V 加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存
( C% @& f: i6 k# n# G txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法
9 T2 _( k0 w- J& V$ G, y 第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过 ( M1 c8 L) b3 |$ w
另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等 ' s3 F$ P& n1 Z, F* G
导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式
* z# _8 k; z1 O( Q. O ' l; J/ u9 q: f% _" g
4 \8 Z) [6 k# h0 z$ l6 E1 h( X5 Y
# d# F& [) W# L/ ^( s
txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码 . S: M7 {) ~- f; O1 x: X+ L
fid = fopen(test.txt,wt);9 g9 q) e0 D1 a) t! Z2 K
fprintf(fid,test1\n);
, ~9 U. U0 X* Z7 `7 o) y5 h fprintf(fid,test2\n);
# x/ B r1 O0 |. _/ n fclose(fid); ' J- O! h9 s+ n$ u
关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。 $ C0 L& Z# N/ V9 j: l( i/ V6 w4 }
最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入 $ H1 f6 x# w1 @8 E# u* i: T: I( a& F' T
[num,txt,raw] = xlsread(filename,sheet,xlRange)3 E' e6 z- ?; k. h
xlswrite(filename,A,sheet,xlRange)
: }) @: [, L, _' Q 但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable , Z- l1 H+ P' `" l( c7 E
T = readtable(filename)
+ C9 F( w& p( E" Y writetable(T,filename)
' h+ M4 }9 n: k2 Q I; Q6 @8 B% O8 q+ T, W2 J
如果数据是cell元胞的话，替代的函数是readcell和writecell % d. `5 ^0 X% N! N7 t
T = readcell(filename)
/ F% h# m8 D, F& t writecell(T,filename)
9 H( w+ V1 | R5 g; z! z 大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别
2 g5 u& J2 e9 r- A5 I 4. 数据可视化 ; h7 {5 f5 j; y
数据可视化，结果的呈现，也是数据分析过程中至关重要的一环
( f D# {# E5 R- }# N! S 像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等
) V- s# f' s& u$ H, _( r1 b4 l 这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法 ; f0 ]3 m2 ^% P) g
在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了 * `1 X9 q% Y% }" L8 V6 n
?3 q2 T. S; O4 B- @: y
不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜
0 ]0 W# ^! J2 M! h/ {0 W" P: E 在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用
, l) e( i$ N5 g# I% ?* g" y& T 9 Z, n5 E: {) y
+ o1 q* V, }1 k* [& |
; `# F& C9 g" _( B& d% ]
5. 数据处理的常用函数
9 E5 {* `; [; r9 d* n: ] 关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差
" T8 V% D7 d& u1 n; T! V: ^0 g' I 再安利大家几个平时我在处理数据时最常用的几个函数 * l+ j( E7 z2 n7 b. e
第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用 2 ?6 z( a7 j" A' b
C = unique(A)
0 H; Y; U+ @/ U9 ~* E" z. q1 u unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了
6 j7 T. t1 f8 f1 ^6 v7 P5 Q 第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样
; Z9 u7 w# _2 r& o: v# p0 s: n sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序
# R* z0 x4 z+ n( O, _1 \( I5 U B = sort(A,dim,direction)
- P3 A: e4 R1 ?; p M sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序
$ {8 e- x; m( `4 C+ i5 ?, t$ V B = sortrows(A,column ,direction)
8 U/ ]3 U7 y, W- `! t( j 最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比 + i. [2 x* x( M/ C( e
再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果
1 X* W( o5 b' l+ [8 R* p6 }0 _" d1 f $ s5 t* O% e+ f) L& M/ \, {( S+ o
除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种
* [# s. X. K0 l: k1 G/ e8 l7 }7 Y7 c- ^% g0 | 比如reshape，可以根据自己的需求对数组进行重构 2 M5 ?4 y v% z% x* S2 X' l Z
isequal，可以用来确定两个数组是否相等
. g4 U1 l8 o* Y! H! w/ i) a h datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间 s% J+ D6 o5 M5 a% t' Z# w9 J1 i
常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区
4 r" n: ^1 N6 @- X9 y' V3 W* n" Y& f- c; v
6. 数据爬取
2 X, n- E. k; V' L1 r/ l- T7 e- d 数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因
' E' A B( ]& n1 d8 F" ` 建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的
1 e3 v) |; [2 x9 `$ s) j) F* p 最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析 $ {. f2 q6 Z, Y2 a, T* s
如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取 5 z, w- L0 ?1 F5 {
data = webread(url)
8 m8 ]3 q: N+ h: F 爬取到数据之后，再通过regexp函数正则法处理网页数据
W6 }2 w4 B4 X( {$ r1 r+ ^ 这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧)
% g* a! F8 B0 Z# F! [ 7. 薅系列工具 1 R# {, V0 \# [8 o9 j+ F& {& }
最后一部分要安利给大家的是，由我自己开发的薅系列工具
6 W" c+ }2 j& ~- ~9 U 目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用
2 J' \1 ]( j( u0 L+ N$ y# | 虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式 + E2 g* m& H; y# m% K
% a* }, z9 A& g, f0 m c
) t) e* c3 w+ _& O , o" N( V- W% a7 r; \. T) e2 m
4 K8 G9 c5 F _3 t- M 我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式
$ f+ _# c2 B* b( w" j ; W4 x. q2 s! S; E; o; A6 s/ O
打浦桥程序员：背几段MATLAB代码就那么难吗？ 7 Q1 D2 X" o( M+ w- e
% h- N+ e: \. y/ o
6 b; k2 Y* \1 |: J& L" V8 ~. X) D ) O$ J7 t4 o! x% W% w) w& X! B
8 L! {( M1 W+ v( }* P- q0 [ 另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式 1 [ h2 W2 A( a8 ?; D1 }; a
- m# x! X0 V% b9 y 7 W8 i D: _0 s7 O2 b- u$ I$ O
" h& ]7 [$ R5 c. E" l% z " s; c6 l/ @! F3 u& M6 v
薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具
3 }5 @ V2 ~ E o 5 z" _' \( P- e/ v. z
不知觉间，写了这么多字 * y5 y* @+ l! q3 ^6 m5 d
今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯
* f) g& E1 I3 h 希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充 ; L! e6 E V6 f. P
如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员”
) L& `5 N3 e3 d1 a
! U2 p `% U7 e0 b9 _
# O6 ~3 v7 C; P9 f- m- c" W4 G: \5 g' [
# T* R* [/ v) I& G' I0 Z* j7 {* b& R | 
