|
+ V. J7 I" n! i7 o+ `
最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计
" l2 `$ F' d' g 所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧 1 c8 V& i9 e% p+ S
正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助
' a/ H9 X) B5 z; N1 m9 ~& n" S: h 虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的 ; H% S ]$ g [. V
1. 数据类型的转换
$ e5 E' V- G {; k" q: F( K7 z 有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换
# n6 J v; ~! q8 Y1 M 至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型”
4 Z! ?) p6 w& a % E F3 @4 `+ G9 c) @9 O- u
通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct
# C1 d) _( ?$ P2 F g/ C3 E% `4 A 我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了 ! p+ R+ H' ^ r; F" C
1 z& [5 |4 k. V" b4 q
2. 字符串的对比
( Q* m p) r5 e2 F6 t9 n0 n6 j. } 第二个经常需要处理的问题是，字符串的对比
' I- q' q& g, u4 U" Q" F- g4 M 这里不单单指的是字符串，还包括cell元胞里面的字符串定位
: w% p, d4 S8 p: |& \$ V( ~! v% ^ 如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比
4 P' ]% n, D3 f& _, x4 ]& F strcmp(abc,abc) 3 a. @! o" O% ~# j' v
判断字符串中是否包含某种字符串，可以使用contains函数
' S0 W3 E/ T. E! Z* p contains(abc,ab)
8 K% A' @5 ?% Q& O% w 判断字符串中在哪几位出现某种字符串，可以使用regexp函数 % q/ n) G. H; t" _
regexp(abac,a)
2 j: S# K$ i2 b 更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位 0 G+ K0 A) D7 z8 v% L( F
a = strcmp(Cell_variable,abc);
; F+ i8 j3 |* J8 A; ? s b = find(a == 1) 6 x5 ~ ]/ ~6 s V: R* d# \* v
同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位
1 e' N$ R" W) d/ W: o a = contains (Cell_variable,ab);
$ H/ [7 o J" H* [7 [ b = find(a == 1) & H, ^- ]7 k- z! {
掌握上面这两点，在平时处理cell的字符串，基本上就够用了
3 M9 o7 B' u/ \6 X 3. 文件的读取写入
' i5 G0 G1 P' P X$ v 文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出 / A. W* \/ A8 [; s8 q# _: U$ q
mat, txt, excel是平时最常碰到的文件类型
% @' h8 d" `, [0 @8 ]" h mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存 + A/ p C" [# C4 _6 {
加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存 9 a, w% ?/ |' Q! H
txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法
, A4 F- V7 c. r( l" y8 r 第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过
, q6 s; t$ y; M/ a! |7 B 另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等 6 I3 s- I2 c" ?, U
导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式
& {' H1 f. O |- y
7 I* G0 b/ j# |4 \: j/ P% c 5 x( {+ \2 F' C% _4 v
- v/ ^" u; p" Y2 a2 J- E txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码 " f6 k" U- F) T5 I3 ]6 Z
fid = fopen(test.txt,wt);
- P# E9 N8 i7 ~/ h# i( V- h fprintf(fid,test1\n);; B: ]6 ?$ a# Q3 _# p+ m! x
fprintf(fid,test2\n);" _4 Q! p5 g4 l: ~' S
fclose(fid); + G8 J$ R" Q8 } F) w
关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。 $ w: R2 Y/ M8 H4 K, E. y
最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入 $ X: t ~% m6 g% H g8 `6 P* d
[num,txt,raw] = xlsread(filename,sheet,xlRange)
5 P P! \, R! C4 Y. G xlswrite(filename,A,sheet,xlRange) ) d0 _1 T' n7 W. h: g
但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable
, ~9 L( B! M* n1 N2 G ~ T = readtable(filename)
, D; j& h% Y1 ?! F writetable(T,filename)
+ {$ C( M: @% t% U1 I$ ]4 B
/ b* Z% b$ F! W; V 如果数据是cell元胞的话，替代的函数是readcell和writecell 0 h- {0 s9 C) u6 [8 m& I! g4 E1 h
T = readcell(filename), K1 |7 Z) u; ^3 v$ M7 i
writecell(T,filename) 1 E6 Y' L- @' ~: S3 T$ P; ^
大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别
8 D/ ]2 d- \" W% O, r0 T7 a5 l3 j 4. 数据可视化 ) \4 |5 C' p, P
数据可视化，结果的呈现，也是数据分析过程中至关重要的一环 2 J' H% \0 }# r3 b" X, H8 b
像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等 & T6 |. V' _, Q) ^5 O
这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法 ( z$ Q& Y. I0 Z0 J
在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了
: m8 @" j; ?( w' Q- D 4 J0 d+ C7 l" t& |" h: v7 a! i
不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜
0 R% y F& Y: C- l5 l6 f 在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用 3 n5 \) |+ Z% E D3 ?6 M. z/ y- H
+ i; _ \& y& [; f3 ~; Y4 n$ h, F
4 h g8 {2 A j* H, D
2 k4 W0 c2 i2 B6 } 5. 数据处理的常用函数 J+ Q: Z+ e1 [; B p
关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差 5 e* b: `3 a+ n
再安利大家几个平时我在处理数据时最常用的几个函数
, F* w- p: ?; F) M 第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用 3 q1 y2 D: }# c$ H: }: h
C = unique(A)
) |6 q U8 E+ Z( M+ Z unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了 4 b# `: e! k) P9 }
第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样
( y: v8 B ^, v: f+ F; U$ v# _ sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序
, y4 P3 p# s6 m. i: G$ } B = sort(A,dim,direction)
* n: ?3 r0 ^; n5 C- S( Y sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序 1 ^, p& f. P8 n6 c3 _+ G/ h9 b
B = sortrows(A,column ,direction)
, ^, B3 N4 g, R" C3 \! } 最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比
: k6 C' K5 ^+ A4 K0 i* k( X% J 再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果 9 ~0 h. A$ B: Q) Z' J2 S
) M$ d. e) O# p/ e: z7 ]/ W9 p 除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种 : \) B$ s$ w# R* [! y6 ? U
比如reshape，可以根据自己的需求对数组进行重构
4 A2 c' \. D0 ]# p isequal，可以用来确定两个数组是否相等
! Z8 t6 X. d3 K! [6 e datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间
; U5 y7 ^, |* s/ b' P- J 常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区 : G/ D. F0 N T5 |" G
v! |3 W8 q) M9 [9 ^ 6. 数据爬取
# h$ Q. [8 }4 k 数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因
: M) W& o1 i4 d$ g. P, Y+ x' N 建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的 ' p( h) q+ r7 F% i7 S! e( d, f
最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析 ! y3 S; U# J8 E8 t3 c5 f
如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取
4 [# h+ u% s8 Q data = webread(url) + A" `9 A, g8 o$ O
爬取到数据之后，再通过regexp函数正则法处理网页数据 5 ^3 l0 K" ?! S: u
这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧) % a7 l. ^ L5 C; T' o1 C) o* F1 v
7. 薅系列工具 f. g7 l! l; t% {& x _
最后一部分要安利给大家的是，由我自己开发的薅系列工具
% x) v7 M& |, @$ \) Y7 L2 r4 c 目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用 # a1 T( T& i7 h; E
虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式
/ b% |+ t! N! y: w- U! K
( @* W2 F1 d Z- k( v 4 J ?" s+ ]2 u3 h. `
/ o. U& z b: ^& s0 h
3 T4 D: i; g% ~( f
我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式
* `/ _/ D: X5 ?6 a8 t5 w
- q( @8 f3 H8 ?- Z I, x 打浦桥程序员：背几段MATLAB代码就那么难吗？
a c( o) S5 E5 C & R8 W b/ Z- i+ I6 C
/ G$ ]$ |/ C+ N/ P. G# [ ) y" e3 L: `) M/ D3 `5 M
5 v9 R I& t4 T( t4 \
另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式
$ W7 B Q S& G& `6 J
; c* h/ B L5 r7 y
7 h; ], c0 `: _5 z! A1 ^, g3 V9 V
( W# D4 w. g( T# \0 S; l * g; v8 S' x$ `. J6 L4 V$ t5 G1 j
薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具
6 E4 \+ C L5 K6 B6 ]* f ( h; f% L0 Q6 n+ \+ i- V# `' e
不知觉间，写了这么多字
3 J9 p8 b3 [ {- E 今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯
7 O s" ]- B- M* `4 l, l3 L 希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充 ' Y1 ~: p6 x- w' N& _, @
如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员”
) t4 V8 G) Z3 ^3 h& Z
- U# l$ s5 I# X% K- k5 k* C* k+ m$ n
$ a( Q I6 u8 W( ?0 W6 m# K& [1 h1 S& @) L, C# O
| 
