资源 | 简单快捷的数据处理,数据科学需要注意的命令行

[复制链接]
/ p% f4 E& H0 E5 G5 k' C% b( M, L
! c3 R; _, h3 c4 N
. k; O4 P' S8 r
原标题:资源 | 简单快捷的数据处理,数据科学需要注意的命令行 选自Medium 作者:Kade K
6 B4 @3 U' O1 T
+ e# Z' ^6 ?6 t+ c3 v+ Q
; l0 H6 g) U! A4 T6 i2 k# b
) Q7 S1 k, M9 ?7 C. y, k6 j

原标题:资源 | 简单快捷的数据处理,数据科学需要注意的命令行

' ` m/ X! j7 O

选自Medium

" K$ x+ ~/ k9 G+ w' j2 ?

作者:Kade Killary

: @4 J( I8 q- k( ?, s

机器之心编译

; _$ b; z' W% L* L5 L

参与:Nurhachu Null、思源

( G/ m' p' \) M# D3 _

对很多数据科学家而言,他们的数据操作经常需要使用 Pandas 或者 Tidyverse。理论上,这个说法没有任何错误,毕竟这就是这些工具存在的原因。然而,对于分隔符转换这样的简单任务而言,这些工具往往是大材小用,我们可以直接使用命令行快速处理。

7 D. Q, [ E+ M

命令行应该是每个开发者都希望掌握的,尤其是数据科学家。熟悉终端的来龙去脉可以毫无疑问地可以让我们变得更加有效率,因此命令行还是计算机技术中的一个很棒的历史课。例如,awk 这个数据驱动的脚本语言是 1977 年在 Brina Kernighan 的帮助下首次出现的,Brina Kernighan 就是 K&R 这本书中的 K。在 50 年后的今天,每年仍然能够出现与 awk 相关的新书。因此,我们可以相对保守地假设:一项针对命令行才能的投资在任何新近的时间内都不会贬值。

. {. @0 [ L7 D
* ?! u4 F0 v+ f: \- Q0 [
+ t9 W# f2 C$ }7 ]7 V
打开凤凰新闻,查看更多高清图片
) M6 y9 Y: f5 Z, t, e9 @" f& z
0 [8 m8 J& l; H" U$ v9 R) |
, ], s6 i7 x F

我们将会涉及以下内容

4 k- B, O% m& X! ~ d: @5 x V' \/ z

ICONV

4 R* I+ @1 F9 T6 u

HEAD

8 ^4 ]! z7 T e

TR

+ \. ~7 j4 n( m) S0 S

WC

/ Q+ i3 A' D6 X& A) R

SPLIT

% M7 O1 ~% g: r5 w

SORT & UNIQ

$ d/ ~2 e$ F: s$ D0 h# g* r7 ]

CUT

% s$ f* B) [* q8 J+ D2 ^# {

PASTE

5 V4 C1 {2 { b. F' v4 n

JOIN

K1 T+ l8 V# p) Q, E

GREP

3 |8 {. \" J6 J9 S" p1 j

SED

* H3 A% D) U: r) ]8 e" T- B( p

AWK

& x5 b4 I# L) P% u

ICONV(用来转换文件的编码方式)

' _8 ]0 R. O. Y" l

文件编码可能是比较棘手的。现在的多数文件都是 UTF-8 编码,然而有时候我们拿到的文件并不是这个格式的。这可能导致交换编码格式时的一些不靠谱的尝试。这里,iconv 是一个拯救者,它能以一种编码的文本为输入,输出另一种编码的文本。

# Converting -f (from) latin1 (ISO-8859-1)# -t (to) standard UTF_8iconv -f ISO-8859-1 -t UTF-8 / f# s* ^- f' a$ ]" U: T) ?! [' _* u: k

< input.txt > output.txt

* b2 |2 @! y `% E$ V* v

可选参数:

$ a9 w2 m7 g4 H( r4 I

iconv -l 列出所有已知的编码字符集合

# F, v5 g/ K1 v) l

iconv -c 忽略不能转换的非法字符,静默地丢弃

6 d0 l. P; k$ i, w( r

HEAD(用于显示文件的开头内容)

4 n n8 n& \& A8 ~+ ^6 N4 a

如果你是一个频繁使用 Pandas 的用户,那么你会比较熟悉 df.head()。默认情况下 head 命令显示文件的前 10 行内容,当然我们也可以选择不同的参数确定打印的行数或字符数。

# Prints out first 10 lines+ _6 T1 i W e6 s8 r0 l- q

head filename.csv

# Print first 3 lineshead -n 3 8 l# x! i: h1 M Q7 z: S' S

filename.csv

. n* ?- ^" A/ _+ z# V

可选参数:

m% b5 s$ a1 p

head -n <数字> 打印特定数目的行数

# L& m6 ]) o1 C

head -c <字符数> 打印特定数目的字符

6 |( M" e" `/ n7 L

TR(对字符进行替换、压缩和删除)

' L0 @) k( M* | c

tr 与转译比较类似,它的强大能力是文件清理的主要工具。例如以下交换文件中的分隔符:

# Converting a tab delimited file into commascat tab_delimited.txt | tr "\\t" "," comma_delimited.csv

tr 的另一个功能是由我们控制的内置 [:class:] 参数,这些用法包括:

. u W3 r6 f/ ?( s1 g9 V1 K: ^

[:alnum:] 所有的字母和数字

3 C* ]) f7 L- \8 g$ u

[:alpha:] 所有的字母

4 I. v2 M% n- J

[:blank:] 所有的水平空格

/ l" m' c+ J0 B5 k1 ]1 s

[:cntrl:] 所有的控制字符(非打印)

" p" g" }' O& G m( w& V

[:digit:] 所有的数字

- R" P8 G4 I! r! r, J

[:graph:] 所有的可打印字符,不包含空格

$ y/ {& J- \- ?% v

[:lower:] 所有的小写字母

# } n. ]$ ~* I. W/ ~

[:print:] 所有的可打印字符,包含空格

, z& z$ L8 L( A9 C# U& x9 y* X+ ?

[:punct:] 所有的标点符号

$ |( I d7 \% H' d: I/ x' d

[:space:] 所有的水平或垂直空格

) p, w, h& I1 ]% T" E

[:upper:] 所有的大写字母

. j; ]. n+ G! I

[:xdigit:] 所有的十六进制字符

# O+ x6 l$ ^+ O J

我们可以将它们连接在一起组成强大的程序。下面是一个基本的字数统计程序,我们可以用它来检查 README 文档。

cat README.md | tr "[:punct:][:space:]" "\n" | tr "[:upper:]" "[:lower:]" 0 E" r7 @" d3 v0 e, [

| grep . | sort | uniq -c | sort -nr

# b% o, L7 H+ F% X& b

使用基本正则表达式的另一个例子是:

# Converting all upper case letters to lower casecat filename.csv | tr [A-Z] [a-z] 6 M; z0 ` f- |

可选参数:

" L ]3 }# S* P+ p) H

tr -d 删除字符

& G2 ^3 I, w5 I8 l

tr -s 压缩字符(将连续重复的字符用一个字符表示)

$ Z }( G1 s8 t8 U( y6 l' M" M

\b 空格

) O/ k8 L8 F/ W: w- k3 F

\f 换页符

( O7 E3 B5 \/ @

\v 垂直制表符

9 h" v" W/ D% Z8 g2 R" h

\NNN 八进制字符 NNN

) m" q% {: s# B# S/ }; o& h8 M

WC(用来计数的命令)

( W( C6 [: z: ]# v* R F

它的值主要来自于 -l flag,它会提供文档的行数。

# Will return number of lines in CSVwc -l gigantic_comma.csv

这个工具可以方便地确认各种命令的输出。所以,如果我们转换了文件中的分隔符,那么运行 wc -l 就可以查看总行数是不是相同,不同就是出了问题。

: J5 b" J3 O9 V

可选参数:

& Q8 O7 P# W; s, F- ?" f% e4 r

wc -c 打印 Bytes 数目

+ A& A1 P$ I/ C: w& K F2 ^

wc -m 打印出字符数

7 S0 G( H7 |! M' b6 Q _! ]1 F

wc -L 打印出最长行的字符数

4 Z/ ^6 F$ v* B% t5 M

wc -w 打印出单词数目

/ h2 [4 o' c1 E! T: b

SPLIT(把一个大文件分割成小文件的命令)

5 ~& K( C) @ b$ h

文件大小可以使用这个命令大幅度改变。根据任务的不同,分割文件可能会有所帮助,所以就有了 split 命令。split 的基本语法如下:

# We will split our CSV into new_filename every 500 linessplit -l 500, K" m7 z& [* p5 }. u

filename.csv new_filename_

# filename.csv# ls output# new_filename_aaa# new_filename_aab# new_filename_aac 4 r" s$ E+ W* z+ W' G# w+ R# C8 ~& G3 m

两个怪异的地方是命名约定和文件的扩展名。后缀约定可以通过-d 标志来约定为数字。为了添加文件扩展名,您需要运行下面的 find 命令。它会改变当前路径下的所有文件名,给每个文件后面扩展.csv,所以,谨慎使用。

find . -type f -exec mv {} {} 7 V: W3 a" u5 ?! m% Y# J" W

.csv \;

# ls output# filename.csv.csv# new_filename_aaa.csv# new_filename_aab.csv# new_filename_aac.csv8 _( u# e) T8 U0 K# W

可选参数:

2 K6 G8 X6 y; w/ F2 Z5 ]% ]+ R

split -b 通过确定的字节大小分割

& X6 B l. Y& ?

split -a 生成长度为 N 的后缀

6 l' R. r5 X) N1 `' v; D5 l2 L3 ^

split -x 使用十六进制后缀分割

4 r* M" J% c' X4 u+ m) U- Y

SORT & UNIQ(sort:文件排序;uniq:报告或忽略文件中的重复行,与 sort 结合使用)

# |7 [8 h+ \1 ?% W5 \

这两个命令提供了唯一的单词计数,这是因为 uniq 仅仅在重复的相邻行上运行。因此,这就是在输出之前进行排序的原因。一个有趣的注意事项是:sort -u 会与 sort file.txt | uniq 有着相同的结果。

U$ H @# e& H

对于数据科学家而言,排序具是一种潜在有用的能力:即基于特定列对整个 CSV 文件进行排序的能力。

# Sorting a CSV file by the second column alphabetically8 ~) B: Q0 H D

sort -t, -k2 filename.csv

# Numerically8 ]. r/ y' g5 o5 ]

sort -t, -k2n filename.csv

# Reverse ordersort -t, -k2nr filename.csv

这里的-t 选项将逗号作为我们的分隔符,通常会采用空格或者制表符。此外,-k flag 用于指定关键词。

' v. f3 V* u1 Z+ \, L, T! \! d0 g

可选参数:

! S) `: |( |# U$ |2 O% R) c

sort -f 忽略大小写

1 X+ k% U: Z# }9 R2 B

sort -r 以相反的顺序排序

, W0 s$ S0 o4 ~- \ u- M

sort -R 乱序

8 ^6 B3 d6 N- q+ P7 v. q

uniq -c 统计出现的次数

5 K5 T5 Q" q$ E+ F8 k, Y

uniq -d 仅仅打印重复行

+ B$ S2 K2 ~! U: `$ Z& Q

CUT(cut 命令用来显示行中的指定部分,删除文件中指定字段。)

( t$ J3 O" D& ?7 I0 b& u5 d

cut 用于删除列。举例来说,如果我们要删除第一列和第三列,可以使用 cut:

cut -d, -f 1,3 filename.csv

选择除了第一列之外的每一列:

cut -d, -f 2- filename.csv

与其他命令结合使用的时候,cut 作为一个过滤器:

# Print first 10 lines of column 1 and 3, where "some_string_value" is presenthead filename.csv | grep "some_string_value" | cut -d, -f 1,35 Q; q; x5 _+ @+ Y( S+ L

找到第二列中某个特定值出现的次数:

cat filename.csv | cut -d, -f 2 ! J* p; T& t1 Q+ O0 t" c9 i1 M

| sort | uniq | wc -l

# Count occurences of unique values, limiting to first 10 resultscat filename.csv | cut -d, -f 2 | sort | uniq -c | head

PASTE(用于将多个文件按照列队列进行合并)

6 m" B7 y$ X* p# A1 m0 S

paste 是一个简洁命令,具有一个有趣的功能。如果您有两个需要合并的文件,并且它们已经排序,paste 能够实现这些功能。

# names.txt - S1 d& n6 D6 s0 {7 a) b. m) H

adam

9 C& ]5 S; t5 Y/ [# u

john

. l Y: Z9 C5 y! Z2 Z

zach

# jobs.txt' Z7 \9 g8 ]$ T0 N8 O; e- X

lawyer

3 `0 I9 H, I. G2 i) M& ]4 p$ L

youtuber

) _, [( ~4 V6 `8 `' \ s \

developer

# Join the two into a CSVpaste -d ,) p. x+ Z* S. F2 z# m

names.txt jobs.txt > person_data.txt

# Output - {5 l0 c" }- {) F

adam,lawyer

/ h; j: X5 @' ~- _4 D, J

john,youtuber

zach,developer

更具 SQL 风格的变体,请参见下文。

) H& }& `3 ~3 W R0 d `( ]

JOIN(连接并合并文件)

, `: J$ M0 @ G% _2 k

join 命令是一个简单的、拟正切的 SQL。最大的区别在于 join 将返回所有列,并且只能在一个字段上进行匹配。默认情况下,join 将尝试使用第一列作为匹配键。对于不同的结果,必须使用以下语法:

# Join the first file (-1) by the second column# and the second file (-2) by the firstjoin -t, -1 2 -2 1 , v8 k$ x: r8 ]7 t% j6 d" Z0 O& ]

first_file.txt second_file.txt

. q" k+ Z9 f% U! b; z( ]

标准 join 是内部连接。但是,外部连接也可以通过- a flag 实现。另一个值得注意的现象是- e 标志,如果找到丢失的字段,它可以用来替换值。

# Outer join, replace blanks with NULL in columns 1 and 2# -o which fields to substitute - 0 is key, 1.1 is first column, etc...join -t, -1 2 -a 1 -a2 -e NULL -o 0,1.1,2.2 first_file.txt second_file.txt

虽然不是最便于用户使用的命令,但是绝望的时候自有绝望的措施。

) }0 D3 r6 H4 I- g! C9 G

可选参数:

8 t0 l- j2 n4 w& `- `) Q: G

join -a 打印不能匹配的行

& v2 a$ z- z8 S/ ~* u

join -e 替换丢失的输入字段

' f+ v7 h0 {1 e6 K. M0 ?

join -j 等价于 -1 FIELD -2 FIELD

/ [) z j7 \& B0 r" o

GREP(这是一种强大的文本搜索工具)

t' u% p5 a4 S/ [) V9 x& C3 C

全面搜索正则表达式并打印(grep),这很可能是最出名的命令。grep 有很多强大的能力,尤其是在大型代码库中以我们自己的方式寻找字段。在数据科学领域,它充当着其它命令的细化机制。

# Recursively search and list all files in directory containing wordgrep -lr word* C, c4 ~ L( A/ R

.

# List number of files containing wordgrep -lr word . | wc -l

统计包含单词/模式的总行数

grep -c some_value, I& z9 E h6 E! R/ n( u. e

filename.csv

# Same thing, but in all files in current directory by file namegrep -c some_value *

使用\|运算子进行多值操作

grep "first_value\|second_value" filename.csv

可选参数:

7 `% M: x+ g" V# {- w) I$ j# X5 W

alias grep="grep --color=auto" 使 grep 色彩化

" D, x. o& c9 g, c! _" \" K

grep -E 使用扩展的正则表达式

& @! c O; \! K+ t- U$ ~8 G, p

grep -w 只匹配全字符

% p( L- ~3 K( @' D$ L& x

grep -l 打印出匹配的文件名

* I' Z- g1 H. ?3 j' X. Q3 ~

grep -v 反转匹配

" A* \3 t- p0 I5 v

SED(流编辑器)

5 b# d& C- Y6 M* o0 d1 n

sed 是一个逐行运行的流编辑器。它擅长替换,但是也可以用于所有的重构(refactoring)。

/ x \" A5 b7 w

最基本的 sed 命令包含 s/old/new/g。这指的是搜索旧值,并用新值替换。如果没有/gour 命令,终端将在第一次出现这个值之后停止。

9 f; d* f" O! ~$ W; y

为了快速体验这种能力,让我们来举个例子。若我们有以下文件:

3 D& }" K: s$ |7 [/ r, a

balance,name

$1,000, A; j& E0 D& A6 r7 f0 W& p5 Y% k

,john

$2,000,jack

我们想做的第一件事就是去掉美元符号。-i flag 指的是位置,标志指的是零长度的文件扩展名,然后覆盖初始文件。理想情况下,我们可以单独测试其中的每一个,然后输出到新文件。

sed -i s/\$//g) i+ c2 r4 J( A; \9 T+ A

data.txt

# balance,name# 1,000,john# 2,000,jack) i8 M' a; v. H( a3 w4 C

接下来,我们处理 balance 中的逗号

sed -i s/\([0-9]\),\([0-9]\)/\1\2/g5 W p5 n, ?0 }+ ^( u& K$ I

data.txt

# balance,name# 1000,john# 2000,jack- `4 F6 [* C) |* y) c9 Z

AWK(不仅仅是一个命令)

! F5 p8 r5 R' f+ z: C' z) W

awk 不仅仅是一个简单的命令:它是一种成熟的语言。在本文所涉及的所有内容中,awk 是最酷的。如果你发现自己对 awk 印象深刻,也可以找更多的资源。

' i" B' a) d# X" M; C* h4 e

 awk 的用例包括:

% S* ^( ` ~% `5 n9 q8 z

文本处理

3 O6 x' p; e) E

格式化文本报告

- c$ G0 {6 x; V; w+ f: l& ^

执行数学运算

2 ~ O4 p: V( i. r+ P$ t7 _, \0 J

执行字符串操作

. _( @# Q9 ~( }) }+ J5 j

最新版的 awk 可以与 grep 并行使用。

awk /word/ filename.csv

或者使用一些技巧将 grep 和 cut 结合起来。这里,对于所有我们要查找的 word 行,awk 打印第三列和第四列和分隔符。-F,仅将分隔符改为逗号。

awk -F, /word/ { print $3 "\t" $4 } filename.csv

awk 内置了许多优秀的变量。例如,NF -字段数,NR -记录数。要在文件中获取第五十三条记录,代码如下:

awk -F, NR == 53 filename.csv

一个额外的功能是基于一个或多个值进行过滤的能力。下面的第一个示例将打印第一列等于 string 记录的行数和列数。

awk -F, $1 == "string" { print NR, $0 } ' N- P! m" n8 q9 W" n0 X3 { j& q3 {

filename.csv

# Filter based off of numerical value in second columnawk -F, $2 == 1000 { print NR, $0 } filename.csv

多数值表达式:

# Print line number and columns where column three greater# than 2005 and column five less than one thousandawk -F, $3 >= 2005 && $5 <= 1000 { print NR, $0 } filename.csv

对第三列求和:

awk -F, { x+=$3 } END { print x } filename.csv

对第一列等于『something』的所有行,对它们的第三列求和。

awk -F, $1 == "something" { x+=$3 } END { print x } filename.csv

得到文件的维度:

awk -F, END { print NF, NR } $ s: ]/ i+ \! s) A6 P/ t

filename.csv

# Prettier versionawk -F, BEGIN { print "COLUMNS", "ROWS" }; END { print NF, NR } filename.csv

打印出现两次的行:

awk -F, ++seen[$0] == 2 filename.csv

删除重复的行:

# Consecutive linesawk a !~ $0; {a=$0}+ X' a, J4 g, A2 }: R5 M( j7 ~1 A

]

# Nonconsecutive linesawk ! a[$0]++ ; {1 W- A. V& \: p4 j c" O

filename.csv

# More efficientawk / u" I2 Y: I/ k! ]: |4 A- S

!($0 in a) {a[$0];print}

2 t' c! Q; e4 \5 O5 E
8 w- z/ y& k6 e. p+ @- h

使用内置函数 gsub() 替换多值:

awk {gsub(/scarlet|ruby|puce/, "red"); print}0 g$ N& B4 K1 z3 _% P

这个 awk 命令将合并多个 CSV 文件,忽略文件头,然后将其附加到末尾。

awk FNR==1 && NR!=1{next;}{print} *.csv > final_file.csv

需要缩减大量文件?awk 可以在 sed 的帮助下处理这个问题。具体而言,这个命令可以基于行数将 一个大文件拆分为多个小文件。

sed 1d;$d filename.csv | awk NR%NUMBER_OF_LINES==1{x="filename-"++i".csv";}{print > x}# Example: splitting big_data.csv into data_(n).csv every 100,000 linessed 1d;$d big_data.csv | awk NR%100000==1{x="data_"++i".csv";}{print > x} / M# K% z# H( a3 i' ~

结语

6 R6 }) H* w) i! Q2 C, h# _9 I# T

命令行拥有无穷无尽的能力。本文中介绍的命令足以让您在短时间内从小白变成高手。除了这些内容之外,还有许多用于日常数据处理的程序需要考虑。如果你想深入了解命令行数据科学,可以多找一些详细的资源。

% y7 _1 d6 B5 ^6 X

原文链接:

3 ^& O6 w- T/ N- U

https://medium.com/@kadek/command-line-tricks-for-data-scientists-c98e0abe5da

& M# Y2 i- X) g' K

本文为机器之心编译,转载请联系本公众号获得授权

1 H% o5 s0 ^, y# u' ~8 n

✄------------------------------------------------

6 Z# X* N7 W7 I" S7 _ r6 v q

加入机器之心(全职记者/实习生):hr@jiqizhixin.com

- y+ _0 r! J' R- Z0 R3 k# T

投稿或寻求报道:content@jiqizhixin.com

, j% q7 V; i9 P. q# E& j

广告&商务合作:bd@jiqizhixin.com

8 R" W, M9 [: \) n& t9 F
1 X2 [7 F) V; I0 U7 Z1 U8 X
; U ], I) `/ j; m
' A+ ?3 @ c& [) d/ R) j , o8 J! l$ z5 j4 W8 C( P: k, p' e: ^* ^5 j6 _: _ ( s) l) q7 }" n! g & w, x7 P; I$ {- m! r d
回复

举报 使用道具

相关帖子

全部回帖
暂无回帖,快来参与回复吧
懒得打字?点击右侧快捷回复 【吾爱海洋论坛发文有奖】
您需要登录后才可以回帖 登录 | 立即注册
华德地毯
活跃在4 天前
快速回复 返回顶部 返回列表