|
" D: I# X0 |" b! e- w/ Y% k 最近一段时间，工作上花了不少时间用MATLAB处理工厂下线的数据，数据庞大不说，复杂度也高，各种推算和统计 6 n. F2 Y% `, C0 L1 |- f
所以今天我打算总结一下，平时我在用MATLAB做数据分析时常用的几个小技巧 - T- H* _8 F! K3 y8 B! a& ?) b
正好全国大学生数学建模竞赛下周就要开始了，希望今天的分享对参赛的朋友有所帮助 , _: Z9 F5 i% `0 U
虽然不知道到时候会有哪些选题，但是能肯定的是，不管是什么题目，都离不开数据分析，这是唯一比赛前能好好准备的
* O( c6 N% ?9 ]. n5 u: Q$ {9 N2 e W 1. 数据类型的转换
& t) C$ ^2 @( v/ \ 有一类问题，不论你MATLAB水平如何，平时写代码的时候多少总会遇到，就是数据类型不一致，需要转换 * ?3 m. ]* S- L5 b$ ^- D% G
至于什么是数据类型，这个问题我就不科普了，大家可以直接在MATLAB命令栏“doc 数据类型”
0 D, \% x$ b7 c
+ \+ h3 r# t! d8 n5 j* m 通常在数据转换这个问题上，涉及到的比较常见几种的数据类型有double，char，cell，struct
, i5 ~7 I$ d& W* x8 O 我给大家准备了一张数据类型转换的关系图，用class判断一下转换前的两种数据类型，然后按照下面这张图处理就完事了
8 x' w5 g* J) m+ O) I8 G " h# q! S! w3 A% g1 H3 U
2. 字符串的对比 . @1 G; J$ o/ s# E+ e$ R
第二个经常需要处理的问题是，字符串的对比
/ k- Q* O' L6 c 这里不单单指的是字符串，还包括cell元胞里面的字符串定位 8 ]4 x6 ~6 w3 h) |. Y" t
如果单纯只是字符串的话，要判断两个字符串是否相同，strcmp函数可以实现对比
& M4 r& s0 k" `. c+ l, Q* r strcmp(abc,abc)
( {- H W+ |: |4 V/ ^& e4 L. |, b 判断字符串中是否包含某种字符串，可以使用contains函数 4 E! R0 W6 _: _1 m7 f5 l: K
contains(abc,ab)
$ p. a2 R* x [; e6 T) u) y0 z 判断字符串中在哪几位出现某种字符串，可以使用regexp函数
5 m0 J9 R9 v, H3 k! h) x regexp(abac,a)
O; Q5 ~8 o0 n5 W, ~$ p. l 更常碰到的场景是，在cell元胞里面判断字符串，比如维度1x1000的cell中，定位哪几个cell里面的字符串是‘abc’，还是通过strcmp实现对比，再通过find定位 ( _' T7 e. _2 J3 J3 c' f5 h3 R
a = strcmp(Cell_variable,abc);
% I) N- L2 b, X' L" _" ?5 C4 I: S b = find(a == 1)
) z+ y/ m5 X t5 W. q3 w( _ 同样，要判断这1x1000的cell中，定位哪几个cell中的字符串，带有‘ab’，可以使用contains函数，再用find定位 / I5 I7 v' l5 e! b
a = contains (Cell_variable,ab);
2 R$ a4 T7 w8 Y( G7 [" {8 N8 ~ b = find(a == 1) ' r8 a+ B. E% [% G8 B
掌握上面这两点，在平时处理cell的字符串，基本上就够用了
& A) i) g0 C$ O; ` j) {: w 3. 文件的读取写入
) @& c1 w+ N. {- F6 \ 文件的读取写入同样非常重要，在数据分析过程中，对应着信息的获取和数据处理结果的输出 / p* K0 [6 ~) Y
mat, txt, excel是平时最常碰到的文件类型 4 T* x* d7 e. g7 b% U( y5 L
mat就不用多说了，MATLAB中的一种文件类型，用于存储workspace中的变量，在数据分析过程中，可以经常把运算结果或中间阶段的数据，作为mat进行保存
/ k! R4 D; E- l; X9 A/ F! @ 加载mat文件，用的是“load 文件名”命令，也可以双击mat文件，保存mat文件，用的是“save 文件名”命令，也可以workspace右键保存 ( J. S$ C+ |" ~* k4 N5 i
txt的读取方式有非常多，网上也有各种各样的介绍，我就介绍两种最常用，也是目前我一直在用的两种方法
: v; E8 Y& G- V+ t8 ? 第一种是通过importdata(‘test.txt’)命令，读取的结果是一个多行一列的cell元胞，后续的数据处理也就方便了，cell里面的字符串定位处理在前面也已经介绍过
( b8 i+ {) q) a0 F" ? [; F 另一种方法是，通过MATLAB工具条里的“导入数据”按钮，这种方法的一个好处是，导入过程中有很多非常人性化的设置，比如数据的分隔，范围定义，数据的输出类型等等 ( ~$ [ k1 M' B Q/ s
导出的选择也有不少，可以选择直接导出到workspace，也可以选择生成脚本或者是function，方便同类型文本的重复使用，对于不太喜欢写脚本导入数据的朋友，我比较推荐这种方式 $ t0 L$ M8 `5 g1 O
4 v: z1 w; r4 F! M3 k " I0 o: a k4 S8 `4 Y2 c
o9 [9 y- ~. O7 p8 w2 A4 H- P txt的写入，可以通过fopen，fprintf，fclose实现，基本上我所有GUI中关于代码生成的功能，都是通过这个方式将代码写入m脚本的，给大家举一个简单的txt写入的例子代码 h# c- E0 z: I. k9 `; u
fid = fopen(test.txt,wt);1 O6 s- L6 ~* q
fprintf(fid,test1\n);+ [% j9 w5 _$ I6 a$ t Q
fprintf(fid,test2\n);
$ D, A! \" \- g, s" n; X fclose(fid); " C( N9 |2 W6 M" H$ ~+ h# M! j% o: e
关于txt的读取写入，我再多介绍一点，txt是文本文件中的一种，就是那种右键打开能读得懂的文件。类似的文本文件还有很多，像m文件，mdl模型文件，dcm文件，c代码等等，只要是文本文件，都可以用txt处理的方式，对目标文件进行读取写入。 , n3 N, c" |/ v
最后讲一下Excel读取写入的问题，常写MATLAB脚本的朋友，对xlsread和xlswrite肯定不陌生，对应的是Excel的读取和写入
( }# w1 }' E4 a" }+ b* I9 l& v [num,txt,raw] = xlsread(filename,sheet,xlRange)
( D1 |- g+ x+ v& i4 s3 [ xlswrite(filename,A,sheet,xlRange) / f! ]8 x: G' j2 |4 v
但是目前MATLAB官方已经不推荐使用这两种方式了，替代的函数是readtable和writetable
# L7 V& v& I \9 d" C. q4 T T = readtable(filename)
& j( |) i/ G8 P0 ]6 |' s) l& @ writetable(T,filename); _7 ]5 B+ R4 G# z4 D: \& e
2 y6 G6 _- N7 C; r0 C 如果数据是cell元胞的话，替代的函数是readcell和writecell
8 [. i6 u: }! V T = readcell(filename)
- S% i2 i. z/ M# O writecell(T,filename)
/ L0 ?7 W, \& ?& X 大家根据自己的个人习惯选择其中一种方式，两种方式在功能实现上目前并没有太大区别 q1 h8 G4 x8 L; L4 b) ~3 G
4. 数据可视化
; D: X$ Y% U8 Q8 H5 P- S" I0 C 数据可视化，结果的呈现，也是数据分析过程中至关重要的一环 5 J+ H6 N4 o7 o% }/ a
像大家非常熟悉的函数plot，就可以用来画曲线图，但是有时候仅仅曲线图并不足以来呈现结果，还需要用到比如像三维图，柱状图，饼状图，蜡烛图等等
5 Y' ]1 y! p" A# _/ ^- L" F 这部分我并不打算给大家罗列各种图形对应代码命令，大家也没必要刻意地去死记这些代码，安利一个非常通用的方法 3 \5 Q5 k1 x [9 [7 @, @
在选择需要可视化的数据之后，在MATLAB工具条的绘图窗口，选取你喜欢的图形，就能生成你需要的结果图了
6 h0 ~) }' a$ d* w' W0 A " f8 f6 V1 Y0 B; Z4 a
不过，至于图片的细节，像title，legend，网格，还是需要自己微调，但这都不是事，再安利大家一个简单的方法，完全不用上网去搜
7 \, r/ z4 o& d9 O. ~0 x 在生成窗口中，点击属性检查器，然后根据自己的需要完善图片的细节，最后通过生成代码，就能看到这部分作图操作的原始代码了，大家也能在代码的基础上再微调，或者复用 3 G( k# X; l9 x" B+ o% \
# }2 j( L, U; Q, n" k0 k
! Q. {/ x% {/ U% u- I - p$ ]. @3 _0 c/ Z
5. 数据处理的常用函数 - }0 O4 r! ~( l# P. l
关于数据处理的函数，像max，min，mean，std这些函数都是比较常用的函数，分别是最大值，最小值，平均值，标准差 2 p9 B! e6 w% r( o' G0 Y
再安利大家几个平时我在处理数据时最常用的几个函数
) T" I6 u4 n* F/ f) \ 第一个是unique函数，可以把数据中重复的数据删去，保留唯一值。unique这个函数不仅仅对数值矩阵有效，在cell中同样起作用 + L; t! C% t- p4 E8 k x. R F& A
C = unique(A) , f0 _* t; b2 g
unique还有一些拓展的语法和功能，有兴趣的朋友可以在MATLAB文档中查看，不过光这个基本功能，就已经非常够用了
: F' \3 b9 E7 l- i 第二个要推荐的函数是排序，sort和sortrows，两种函数都有排序的功能，但是使用场景不太一样
2 l4 d% C2 ~2 l5 _ V$ `, X sort的功能是，将矩阵或者cell中的每行或者每列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，dim的选择有1和2，分别代表对每列和每行进行排序，direction的选择有ascend或 descend，分别代表升序和降序 9 w3 P7 p8 ?& a3 g1 G" e. J: d
B = sort(A,dim,direction)
# q0 [' J' D. J S* a6 M8 r5 I5 U3 c sortrows的功能是，将矩阵或者cell根据某一列进行升序或降序排列，其中A代表待处理的矩阵或cell数据，column代表根据第几列进行排序，direction的选择有ascend或 descend，分别代表升序和降序
. E! Z* M2 h, h8 C0 ]/ \ B = sortrows(A,column ,direction)
4 w7 w* W" d3 r5 _ 最后推荐的一个函数是tabulate，非常强的一个命令，可以实现对数据的统计分析，输出的结果有三列，分别是去重后的数据，出现的次数，已经对应的百分比 * N$ {6 h/ k' c2 }$ @
再结合sortrows对tabulate生成的结果进行排序，就很容易获得各个数据根据频率进行排序的结果
7 w) ` F! [+ a) P' v ; P3 E9 J& t4 H) V# M+ f; d
除了上面提到的几个日常比较常用的函数，还有一些我非常推荐的函数，平时我用的不太多，但是如果用到的时候找不到会很抓狂的那种 3 g- F9 z5 U1 X- ?
比如reshape，可以根据自己的需求对数组进行重构
1 D/ U0 v- ~! R. M8 g isequal，可以用来确定两个数组是否相等 $ S3 b, @+ c* b2 g+ s& E) j
datenum，datestr相信大家比较熟悉，可以将日期转换成序列值和字符，平时在处理时间相关数据的时候，还可以考虑用years，days，hours，minutes，seconds等等来计算持续时间
* O% _+ s& ?3 F 常用函数这部分内容就介绍到这，其实还有很多非常赞的函数，欢迎大家把自己喜欢的函数发到评论区
O7 L4 s8 m9 q- v4 }6 u. {+ Q
: T+ {9 T3 {: P' w: Q6 r 6. 数据爬取 . \" I1 d6 d9 z$ o {6 ?; r
数据爬取部分，其实我想讲的是爬虫，不过也不能算数据分析的技巧，我讲这部分内容，更多的是出于建模竞赛的原因 & N) b- T4 B, B" \) u
建模、仿真和验证，其实是需要数据的支持的。脱离实际意义的建模，靠拍脑门做出来的结果，都是不提倡的 3 Z$ d \$ ?0 q0 R; C0 p( }! y
最简单的情况，如果有现成的数据文件，可以根据今天聊到的第三部分，读取数据文件之后进行分析
) j# \( V% c8 S# M 如果没有这些数据，我推荐大家使用MATLAB读取网页的函数webread进行数据爬取 5 F" T' R/ j, u' R+ N* M. F
data = webread(url)
1 f3 O+ r& G) |2 z 爬取到数据之后，再通过regexp函数正则法处理网页数据
5 i5 U' F6 R- i" o9 ?! _ 这部分聊的比较浅，但也很难三两句话把爬虫讲完，推荐大家一个相关的MATLAB爬虫视频，讲的是我之前用MATLAB爬取B站，视频很短，一共7分钟，大家一边看一边跟着做练习，基本上半个小时也就全整明白了(知乎不给放二维码，有需要的朋友，直接上B站搜打浦桥程序员吧)
( A6 ` s l! f- e# P 7. 薅系列工具
' t- P0 \- v7 Z) Z% j) q 最后一部分要安利给大家的是，由我自己开发的薅系列工具
6 ^4 ^% U4 u: q2 P; x( _1 a, k 目前反响最好的是薅曲线(HaoCurve)，从图片中提取曲线的原始数据。之前不少参加过建模竞赛的朋友经常私信说，拿薅曲线来做结果验证特别管用
+ |7 j# Y, E" l) U* D. F 虽然这个工具我平时用到的不太多，不过就冲8000多的下载量来说，我还是很推荐的。需要的朋友，戳下方的文章链接获取工具下载方式 & I# N3 G D) T5 t, v5 ]
) [1 X, t& x5 { D, l/ {
, @$ t" |- H" E' [% L+ R/ g! h f2 J: T+ |, E [* i) u
3 w& {: _8 E* \- I
我个人用的比较多的是另外两款工具，一个是薅文件(HaoFile)，里面的历史代码检索功能很强大，可以大大减少找代码写脚本的时间，在数据分析过程中，很多脚本和功能都是可以复用的，有需要的朋友，戳下方的文章链接获取工具下载方式
/ Q7 R0 I, u5 }( |- e) X" U& c 1 y. B3 R( d' q2 E- n
打浦桥程序员：背几段MATLAB代码就那么难吗？
9 P; w0 J/ Q) M' Y; i
: t4 a- U5 o8 K% \( w- L ! a( U# W4 d+ J6 @
: {4 c! O* U: ` M9 d9 R 2 n* E2 t3 G+ |9 n, h! ]% o. U7 |0 W
另一款工具是薅模版(HaoTemplate)，如果最终数据分析的交付文档有格式上的要求，薅模版能就发挥它的作用，可以生成特定格式的Excel或Word模版代码，这可比自己手动去调格式方便很多，有需要的朋友，戳下方的文章链接获取工具下载方式 ) S, s. w+ A& N; }# S; ]3 o
: Z r- m3 g3 F5 N9 y( w0 P
( q" t% ^+ |3 Q/ `/ e
: p2 V" m( I4 g: ?, F9 ^! U0 C
3 j- l$ T$ c4 Z8 L8 g
薅系列工具还有很多，不过在数据分析这部分，我最推荐的是这三款工具 " z7 ^# R5 E( @5 r% \. h* d
* G4 g, j. O" u% U1 K+ M4 g7 i
不知觉间，写了这么多字
$ L/ @. e. ?4 a5 j0 _4 G 今天总结的小技巧，未必是最适合大家的方法，但确实是我这些年养成的一些处理习惯
2 F! ]5 R6 u0 @9 C- } 希望今天总结的方法，对大家平时的工作学习有所帮助，当然大家如果有更推荐的小技巧，欢迎在评论区补充 / c, C) b/ w* S; N& u
如果你也对MATLAB感兴趣的话，欢迎关注我的微信公众号“打浦桥程序员” 7 f9 q$ Q: G# }% Z& O# A, |" k, L
+ L3 x: O* }" b( O- P4 w+ r/ ?
4 [2 u! z* i' e" p( q: Q
% q( Q! a7 P0 {( U
- k% ?4 i; }7 J( a8 I1 P
| 
