|
# H6 _/ W) v+ ?/ C" B 最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计 - v0 Q$ q0 ^. p" V5 r
所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧 & {( F X2 S9 N' H$ j
正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助
$ ?1 h# B# V" Q 虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的 ( D( P- D1 X1 y9 `$ \
1. 数据类型的转换 / u0 X8 S9 i: q" O" l, ^: S
有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换 / P3 T# O( k+ P; |' R2 g0 ~
至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型” . ^1 m$ s) X& c/ C/ C3 B3 F
3 {" r8 z0 k+ ?+ d" h2 i 通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct
1 f: w2 c$ Z$ @/ ]0 v' A 我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了 : Z I; e3 p4 z, f
8 n$ `0 N9 U8 U: g 2. 字符串的对比
/ C8 r7 \! u5 O" P, b# C7 `8 k 第二个经常需要处理的问题是，字符串的对比 ; W! Q, B; k6 f- `) h% Y" f
这里不单单指的是字符串，还包括cell元胞里面的字符串定位 8 x9 r5 E1 p1 e
如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比 # P2 y# q, _* N* _
strcmp(abc,abc)
$ v7 _9 Z7 S4 e& @+ }5 } 判断字符串中是否包含某种字符串，可以使用contains函数 $ }) A2 F& J ]8 s6 L# x
contains(abc,ab) 0 J( T/ ]3 o6 h; o, R2 R' O
判断字符串中在哪几位出现某种字符串，可以使用regexp函数 ! W# n1 i0 |7 k3 j
regexp(abac,a) 6 ~+ Y) z& M c( B3 p3 |& [
更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位
- c1 e2 I" l: s+ o4 Y a = strcmp(Cell_variable,abc);( V! b) f, _$ l5 i0 o4 |
b = find(a == 1) * N8 u: N* k0 O, r0 H/ c( `3 B
同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位 9 w- Z) Y- n1 ?3 q7 l& j) ~
a = contains (Cell_variable,ab);
4 |) @+ E @0 y$ R; M! w v9 P b = find(a == 1)
! A4 ^) g r$ p- |# i8 Y 掌握上面这两点，在平时处理cell的字符串，基本上就够用了
/ `- o9 Z' {- N& G+ f2 y% @# h 3. 文件的读取写入 % U: b+ l+ V- X2 g# K
文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出 + H' R" ^8 f. j9 J9 }$ Q
mat, txt, excel是平时最常碰到的文件类型
5 \! h* T a; Y3 p4 ? mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存 % U" e" q }- |* E- }
加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存
" G0 k) x* w; M: C txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法
# Z: W7 m l* E 第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过 " z% y: U- s9 _2 D1 B2 }/ Q/ Q! R/ o
另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等
2 A4 O' C' K; n+ b 导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式
5 E) `5 O( Q; G4 K0 O$ f & z5 [8 w6 t3 p0 I2 o8 e6 s
- N' G" V$ Z6 U8 W+ m
' V# H2 f$ w) S7 ^ txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码
2 \( R4 |0 R3 x' t fid = fopen(test.txt,wt);. ]5 E/ C" q. R! f) O8 e) k
fprintf(fid,test1\n);$ p; R1 o6 S: r4 O
fprintf(fid,test2\n);; `6 \$ E* E5 e2 g7 w
fclose(fid); 5 X. ]- \: O/ C+ P. |% E
关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。
3 L2 B+ G0 `& Y 最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入
5 x0 j" R( a9 g2 R [num,txt,raw] = xlsread(filename,sheet,xlRange)8 g+ c% y/ _0 q+ D# P, P1 ]9 V
xlswrite(filename,A,sheet,xlRange) - I1 d; y# `' B- z- v
但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable
* y0 \( z3 [! o7 W9 Z T = readtable(filename)
. n' N7 h2 w, u$ k writetable(T,filename)+ d! \) o d$ K
+ I9 T" k2 U! r$ H( B( U+ m1 u. }
如果数据是cell元胞的话，替代的函数是readcell和writecell 2 H/ ~9 `! V: O! N, t
T = readcell(filename)
: v3 G" n; O; ^' n7 C$ c writecell(T,filename) , {% {" h- E0 z+ F/ I9 [1 W
大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别 2 }& K" E3 C: o" }" W
4. 数据可视化 8 g! h! ?) t* V+ H: o3 t
数据可视化，结果的呈现，也是数据分析过程中至关重要的一环 : Y- Z* P9 x" w4 s
像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等 w+ M4 b2 T' b5 D6 @" [/ C2 E
这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法 , H" E, V" e+ h: V; `7 x$ G6 g
在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了 ~- n4 n4 ~6 X# p# x
8 M" n/ r+ W9 r/ ?5 k
不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜
1 t3 M! \( Y9 c7 U& Z) W) Z 在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用 # Y3 q7 r4 c' d, d5 q4 E6 i
5 W: \; d& l/ e$ S: m3 V4 ~/ ?
3 E% v @3 r: B5 |, _. ^/ j
# l* T2 H( X8 v; J5 h
5. 数据处理的常用函数 ! f0 l5 ?2 U* m3 C2 U$ h% c9 N3 I
关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差 4 y5 D% A$ x5 l
再安利大家几个平时我在处理数据时最常用的几个函数 % |- A" { d5 T1 _9 E7 ~1 z7 B
第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用
( i5 Q3 ^$ a. u+ t5 e) z4 L% S C = unique(A) 3 w" _8 a+ D% R1 F9 S+ H9 E: L
unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了 1 Q2 n8 W! A( B: {4 ] W: M8 c: j
第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样 2 J& `/ ]# x$ Y6 X$ m, E
sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序
. _ f5 N. l& l B = sort(A,dim,direction)
* j$ C- l- ]% S sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序 * Z9 ]' s! O: [) A
B = sortrows(A,column ,direction)
* N; Q7 E/ D H: M2 f 最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比 3 O$ N) ~, B2 I- Z+ G
再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果 / ~. M R0 I9 E$ R- A+ \
4 X5 a9 J6 u4 {( P% N' I3 Z7 c
除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种 7 q% I7 W/ P$ t/ O+ D
比如reshape，可以根据自己的需求对数组进行重构
' [2 y9 T- t. [% f( a. t. _6 x isequal，可以用来确定两个数组是否相等 9 V2 @4 j# F7 Q0 E: o: Z
datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间
# ?) M; {1 c& x0 ^8 ~. R 常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区
4 ^0 a) X9 m! n
+ G% b/ F4 Q" ]4 }/ A/ o9 K 6. 数据爬取 . C( ]$ Y5 J. a. U3 v9 m
数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因
4 \/ V% i3 ~: X 建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的 1 X1 n g7 w% L4 I+ ^1 j
最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析
+ n& H" D/ e$ z# S, b8 Q/ o; z 如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取 + U) Y& f t, c- B7 M
data = webread(url)
6 k$ Y [2 J% A' C- ~ 爬取到数据之后，再通过regexp函数正则法处理网页数据
4 h' e8 @. @ \9 ?6 a6 F 这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧)
! D8 o8 m7 J% f- m' R% y 7. 薅系列工具 / W0 P% p" G& _" i3 P) G
最后一部分要安利给大家的是，由我自己开发的薅系列工具 2 r, k# E3 `, U% Z. ?' }- s* K
目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用 ; K1 m& |6 e+ K6 ~2 B" A1 T
虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式 ; j2 K( L9 K$ n0 @' {6 @
0 m; t8 t" a( @) T 9 r, A6 s& e: j% x1 g+ x& J
4 k+ p8 a0 \& C2 a( F0 W* Z
5 U+ q& u! V7 v7 v+ s
我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式
* @6 |4 M5 }; W' r! W+ Q. x- J3 L
6 w4 y4 ]& k( c' E1 n3 S, f1 a2 L ` 打浦桥程序员：背几段MATLAB代码就那么难吗？ 8 E) c+ M" k4 y# o
& u6 I, L# G" \+ f3 J! j
o8 p' p1 B/ m( t/ B r
( \# ^* ?+ }7 R) B3 V% n
9 ^2 ~1 M- m- M, }7 d* S 另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式 7 J! {* ?3 q0 ^6 F; Q0 P
% M( O2 d9 p5 Y7 x6 B, E
" n1 b7 _9 Z- W9 i- D2 t 3 x+ n" z+ b: Y5 K4 U9 Z5 O0 j1 ~7 w
2 S& @% b' j; k/ \" b9 z
薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具
( t8 j: A: o- M1 x
1 k6 m% L7 F7 ?& Z 不知觉间，写了这么多字
" D+ F* n+ L6 Y8 T; n# T: p 今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯
" Q/ l2 z5 h/ q& k4 f: j6 j 希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充
- j% H& z- r" z+ U9 i [$ a; l 如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员”
2 x1 Z( r7 T+ |) H. S
' t% Z0 j l# }1 E/ T6 \% _: g9 F- D- F6 F2 r. J- D" n$ {
) e9 {( u% o& p% `- |
* r2 P% Z+ |) \0 B6 p" n3 W | 
