|
5 ~, s, s% h( _9 _4 n; ?6 m 最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计 7 Q* o$ j- k5 h
所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧
6 [- n. ~$ m, i" k: ^ 正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助 7 p# ?! A z' c; X& \/ l" R) }
虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的 , U- Z0 f1 X5 w
1. 数据类型的转换 ) D0 g5 O3 \3 e) l5 J
有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换
1 G$ a, h2 Y5 Y5 I4 p 至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型” ; d2 I. `! W' p1 y- |" k) L- q
1 P. H4 C, f+ x0 z a' g
通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct
' v; V* w" ^9 u' ^1 o 我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了
_6 I# z4 a9 N# @ : v; K R3 @/ ?$ W, ^; N
2. 字符串的对比 # p9 a5 `+ N: l: c! |& y; s
第二个经常需要处理的问题是，字符串的对比 $ W6 l6 Z, E# C8 ]9 h& S% `
这里不单单指的是字符串，还包括cell元胞里面的字符串定位
2 z. _0 ?# j2 {/ ]$ \! k0 Q/ R 如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比
5 ^# t x0 g T8 ?/ r2 ] strcmp(abc,abc)
$ `3 R7 t+ n' r 判断字符串中是否包含某种字符串，可以使用contains函数 6 l8 S: t# y* x
contains(abc,ab) : s3 m# T# n6 A) c# t- i
判断字符串中在哪几位出现某种字符串，可以使用regexp函数 $ d6 M4 E' _! [# h- _8 P
regexp(abac,a)
; R. I. q9 }1 k, `; n 更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位
* @4 y* A* h) H6 Q. H a = strcmp(Cell_variable,abc);
5 o+ l2 @/ F# k' u2 i; k+ z0 v b = find(a == 1) / m% r# |: {- N1 {* V
同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位 8 E- F6 R9 R6 w$ d+ }
a = contains (Cell_variable,ab);
" C N+ w3 K' M4 P b = find(a == 1)
/ e) C3 w. W% U6 b% x L 掌握上面这两点，在平时处理cell的字符串，基本上就够用了 5 q) [/ \" v- E$ u! o
3. 文件的读取写入
( s9 t3 C7 y4 @6 P 文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出
9 J" i- S3 n" o Z! B mat, txt, excel是平时最常碰到的文件类型
& \- K% F7 X$ \$ X2 ` mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存 * Q: P. L2 n. O3 Y
加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存 - U/ g, p+ h* o3 m5 |6 {" ~; U
txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法
7 }3 f3 [% R9 J9 F( Q 第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过
' Z$ ?4 x, |( ]; h5 U% } 另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等
2 X* O0 e( Z( I; R 导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式
2 e0 b; |3 E: n! K0 P - R1 U/ J+ s, ]- C: J" u
$ w* y& N5 @! j1 I, q
/ p3 u7 \" N2 H& u8 r! {4 k$ m
txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码 / z* h% [0 `* n8 v( m
fid = fopen(test.txt,wt);: q7 f+ l$ M8 X
fprintf(fid,test1\n);) s5 B! O6 n E; Z: n3 r
fprintf(fid,test2\n);
) g1 B) ~/ ~8 q5 g% C- z fclose(fid);
3 `5 U2 {: q' n6 j# |3 u; l 关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。
; M6 p# v5 N7 d& z, N/ ?1 o 最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入
! \; P8 W3 Y& e: f N [num,txt,raw] = xlsread(filename,sheet,xlRange)
$ G. t. H* h7 y% g# ~/ n. q xlswrite(filename,A,sheet,xlRange) 0 y, f. r1 ^- ?, n) B
但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable
8 h4 o% j: R) x3 t& u! x T = readtable(filename)1 H4 R' w% q) }# e
writetable(T,filename)
2 ]3 y8 n" q% T ! h% u0 U+ {2 W; C
如果数据是cell元胞的话，替代的函数是readcell和writecell
- c+ H' _# ~. X' ?& p, A, c0 I T = readcell(filename)8 r L; a3 |- I9 @- G" W
writecell(T,filename) * X8 z8 U% r, C9 e7 K" q
大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别
% o0 G, p2 V5 n9 I* [ 4. 数据可视化
4 _: P* r' X8 x6 \; ? 数据可视化，结果的呈现，也是数据分析过程中至关重要的一环
# W7 G4 A& F/ S' x( U2 { 像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等 1 e8 e. G' `; Q* R
这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法 - x) G% \, c; m3 G
在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了 0 q& @* A8 p; Z7 i; v# O
% r- B8 S$ Q: G: i 不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜 6 R* j: t3 ^5 Y- O% x+ f
在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用 : M$ d, a9 l: G
* [4 `) }2 c) W8 _
4 `& S6 ?# F! Q- v! r$ B3 Y/ R
, P& c a6 @: V, Z$ }) v* T; o5 y 5. 数据处理的常用函数 8 H& d N0 t: V7 H1 K% C9 N E
关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差 4 t( w! `1 h @& n" i) H! L& r
再安利大家几个平时我在处理数据时最常用的几个函数 & C6 i. T% N" S2 e7 ~# T& T
第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用
. ]7 [' b. g8 E- \/ z8 g1 B/ ^ C = unique(A) ( F* r/ s" q4 u, p( }/ X
unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了
; b" D/ u! Y7 {- Z3 z 第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样
0 q9 b: r. h. a( q sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序
' R3 H/ w5 P# n1 J8 u4 j/ [9 g B = sort(A,dim,direction) 4 n) ^2 T0 r1 j$ S. t1 }
sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序
6 _4 B O( N( A" | R4 J' x B = sortrows(A,column ,direction)
: M5 @, q! A6 v( \% V: Y1 h. g% A 最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比 # i+ k2 L" _# H7 s. \$ b. ~
再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果 5 D8 o$ ~0 \+ I- h; D
6 X+ w9 ]; S) m' g; L 除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种
" ]2 A4 } q, s+ k* h" X7 N- u: b 比如reshape，可以根据自己的需求对数组进行重构
/ N, E- _1 z# C0 j1 T isequal，可以用来确定两个数组是否相等
# q# Q% D# s: o6 A datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间
6 K# v1 c1 Z& n 常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区
# q5 B& t, Z! j4 i' X
. `7 p! o; a- @; r1 y# C0 z/ i 6. 数据爬取
; b3 q+ {. z" _' n( d' ~ 数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因
% L2 n% b2 @6 p 建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的 . b& M% {) |8 K1 W
最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析
; } Z) d$ l% R' U2 Y4 S; K 如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取
7 x- ^4 X A* @/ ]% D+ y3 [ data = webread(url) " I6 l, K4 {0 T' n; g5 n4 z
爬取到数据之后，再通过regexp函数正则法处理网页数据
6 W& h) G6 ?/ T5 x 这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧) . e0 F, `1 n6 c% o; j4 K) M
7. 薅系列工具
9 d" G9 ? _! ?7 m 最后一部分要安利给大家的是，由我自己开发的薅系列工具 : q, @/ c" A1 a* e5 R. Y
目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用
! H# r8 v7 _5 I; B) h 虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式
; w+ h5 G. i7 [; X4 {! {1 A4 `
6 i, w3 s8 g; N* z & S5 M/ C" v$ G4 H1 x
2 a% K( o# _8 l; z% S$ z% S: t ; g" r- k5 `, F: u$ x& x
我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式
% `5 n( h( Y2 {- w* m
7 Y1 l& ^: c; Z: w4 M% H" E m. K 打浦桥程序员：背几段MATLAB代码就那么难吗？ 7 F7 W1 z7 n d
" U8 k: D% d* W' Q8 {* o' [+ L
: T$ N- k' U& O6 g3 L: |: \5 R " O- l2 _. k. r, S ?: _& I; r
# A; r2 K. j# r& b4 A8 S( C 另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式
p: v& c& S1 ]( x9 L1 r - x; T* }- }* z S3 Y- u
* K; U& \* m: l4 y- N" ]" q0 u & ]9 I! [& Y3 [" Z& V, _8 g
/ p. j7 H2 U- T; V4 B
薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具 : n! S- Z/ y& M5 Z- J. K/ m( y8 R
2 u! l- \6 A7 {& {* H, u
不知觉间，写了这么多字
0 J% m1 Z5 g4 t" e' Q 今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯
: d. o8 q) d! R2 W1 _ 希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充 - ]4 \; j4 ]4 q! f$ {
如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员” 3 ]1 I" V" k. G4 w9 F
# ?/ p$ D7 e+ A1 L; \9 X V# N+ R& {- J" T, _# b
! S3 V- i% ^" r; ?
' Q8 }# t2 ]4 w d6 h2 `- `: H
| 
