资源 | 简单快捷的数据处理,数据科学需要注意的命令行

[复制链接]
& w& O! T @2 h+ E" V9 z
0 T; n. s- x" f3 [/ e
" Z3 R6 C: T4 o5 l; c. L
原标题:资源 | 简单快捷的数据处理,数据科学需要注意的命令行 选自Medium 作者:Kade K
& w, K: P6 o; c% h. B5 c
/ Z2 p- `: {1 U7 `# \- E l+ `7 O& e, v/ |
- R# ^/ \) C* j, z4 E
" }1 a8 f2 o2 w) ^' E3 ]

原标题:资源 | 简单快捷的数据处理,数据科学需要注意的命令行

9 q* B- e# N, l9 u# |

选自Medium

9 Q0 n5 ?; e1 c8 u5 B

作者:Kade Killary

7 s9 ]" n; I: e2 c+ a4 N6 q0 x3 }7 Q

机器之心编译

2 x* c- ]) a9 u Q

参与:Nurhachu Null、思源

( S) q5 g1 T8 }7 J& b

对很多数据科学家而言,他们的数据操作经常需要使用 Pandas 或者 Tidyverse。理论上,这个说法没有任何错误,毕竟这就是这些工具存在的原因。然而,对于分隔符转换这样的简单任务而言,这些工具往往是大材小用,我们可以直接使用命令行快速处理。

! v+ p: s* R0 C& ]" U

命令行应该是每个开发者都希望掌握的,尤其是数据科学家。熟悉终端的来龙去脉可以毫无疑问地可以让我们变得更加有效率,因此命令行还是计算机技术中的一个很棒的历史课。例如,awk 这个数据驱动的脚本语言是 1977 年在 Brina Kernighan 的帮助下首次出现的,Brina Kernighan 就是 K&R 这本书中的 K。在 50 年后的今天,每年仍然能够出现与 awk 相关的新书。因此,我们可以相对保守地假设:一项针对命令行才能的投资在任何新近的时间内都不会贬值。

4 Y6 {) t9 I& c6 \: g J2 L4 | K
* j- O+ ~8 @& ?# m
% U8 X# l( Z# t( O8 u& X/ b8 f* \
打开凤凰新闻,查看更多高清图片
8 V Y; s; m9 k) x- u; K- G N3 o
9 P! K \7 h% C1 m$ g9 F* n
1 Z% E0 J K h( e

我们将会涉及以下内容

7 \' `1 x5 g8 N4 a

ICONV

3 l8 f3 y( q% W7 F

HEAD

; L# x3 U4 V0 O4 M' Y5 z5 ~

TR

5 ]0 b. b5 [# y; `. Q% Q

WC

8 S, x [" ^1 \+ [3 w! s

SPLIT

, z2 q3 `8 X& w% u+ Z0 O7 g

SORT & UNIQ

8 I8 r7 x; x8 c4 i

CUT

: N5 ]5 C N# C" ^9 i

PASTE

2 B. \# i, W, Q! _8 K# |2 |

JOIN

6 d- h3 B" \9 q$ d0 N9 i: {

GREP

& n& Y7 \# r; ]' m7 _

SED

: p. g4 C0 k/ b7 a1 ?& s9 I9 s6 G! ]

AWK

4 O1 R( z6 U, z

ICONV(用来转换文件的编码方式)

+ D- m: ^+ N$ R

文件编码可能是比较棘手的。现在的多数文件都是 UTF-8 编码,然而有时候我们拿到的文件并不是这个格式的。这可能导致交换编码格式时的一些不靠谱的尝试。这里,iconv 是一个拯救者,它能以一种编码的文本为输入,输出另一种编码的文本。

# Converting -f (from) latin1 (ISO-8859-1)# -t (to) standard UTF_8iconv -f ISO-8859-1 -t UTF-8# B0 [7 U# d- v; [ }' Z

< input.txt > output.txt

( Y0 C$ [4 @1 p( A# u9 T1 M) |

可选参数:

' k' [0 D/ H; Z

iconv -l 列出所有已知的编码字符集合

: [- D0 o+ c2 t, Z; z1 i

iconv -c 忽略不能转换的非法字符,静默地丢弃

; r9 h5 c: @2 I, f7 T! G

HEAD(用于显示文件的开头内容)

?% g, Z$ N: z/ o' q. Q

如果你是一个频繁使用 Pandas 的用户,那么你会比较熟悉 df.head()。默认情况下 head 命令显示文件的前 10 行内容,当然我们也可以选择不同的参数确定打印的行数或字符数。

# Prints out first 10 lines3 V$ |. K! Z; O" z! p" t0 i

head filename.csv

# Print first 3 lineshead -n 31 `8 f4 f% ` w) ~" @' `

filename.csv

( Y E9 U1 ~& t

可选参数:

/ n/ g% |' s c% X

head -n <数字> 打印特定数目的行数

; o8 Q$ C# s: _& }$ B# a

head -c <字符数> 打印特定数目的字符

* G9 K& ^4 }2 X3 O# B

TR(对字符进行替换、压缩和删除)

9 M* A/ B# t1 }; B/ t- g* e5 D

tr 与转译比较类似,它的强大能力是文件清理的主要工具。例如以下交换文件中的分隔符:

# Converting a tab delimited file into commascat tab_delimited.txt | tr "\\t" "," comma_delimited.csv

tr 的另一个功能是由我们控制的内置 [:class:] 参数,这些用法包括:

+ D! m0 b# }& D, G4 {% \ u

[:alnum:] 所有的字母和数字

7 S2 E2 M3 s6 v; X( \2 I

[:alpha:] 所有的字母

) E' w! A) W/ O# i; j

[:blank:] 所有的水平空格

2 `% u% Y! G" C* f* H- _

[:cntrl:] 所有的控制字符(非打印)

9 U1 n0 C8 N7 c

[:digit:] 所有的数字

8 ^; W- w- e$ l$ q ^3 S4 X

[:graph:] 所有的可打印字符,不包含空格

0 H6 b7 y$ Y4 `; `: Q9 I( D

[:lower:] 所有的小写字母

1 z; n; r/ y8 S9 V& |1 K+ M

[:print:] 所有的可打印字符,包含空格

% F; T; y$ x6 ?2 q; C( W0 ~

[:punct:] 所有的标点符号

8 `3 D( u. S' P7 r& k& a$ i0 J1 P2 A

[:space:] 所有的水平或垂直空格

! }$ K9 a- Y, Y. n

[:upper:] 所有的大写字母

; d, o4 J7 }5 a; s% B7 q

[:xdigit:] 所有的十六进制字符

+ g+ c7 V7 O( {

我们可以将它们连接在一起组成强大的程序。下面是一个基本的字数统计程序,我们可以用它来检查 README 文档。

cat README.md | tr "[:punct:][:space:]" "\n" | tr "[:upper:]" "[:lower:]"* ~+ F; _- S3 {. X+ `( q# o( f

| grep . | sort | uniq -c | sort -nr

1 _0 u- O* M% j H3 P& w6 `! V

使用基本正则表达式的另一个例子是:

# Converting all upper case letters to lower casecat filename.csv | tr [A-Z] [a-z] Y* _' j( b0 O) D; y5 j

可选参数:

/ `" j4 l9 T5 ]: I" Q3 x. v

tr -d 删除字符

2 H) }- W3 S' a8 v

tr -s 压缩字符(将连续重复的字符用一个字符表示)

% e& l$ {5 N' N5 {! W0 R

\b 空格

" y: i6 E+ G% }! u U) p

\f 换页符

7 W$ z/ v% ^1 J+ N6 B% N2 p9 Q4 N

\v 垂直制表符

; Y3 @: G# m9 l, W; l) i: p

\NNN 八进制字符 NNN

/ B) Z& D, `" k9 J

WC(用来计数的命令)

8 c2 t0 C3 D7 h2 I

它的值主要来自于 -l flag,它会提供文档的行数。

# Will return number of lines in CSVwc -l gigantic_comma.csv

这个工具可以方便地确认各种命令的输出。所以,如果我们转换了文件中的分隔符,那么运行 wc -l 就可以查看总行数是不是相同,不同就是出了问题。

: {! d4 y) @9 |1 x2 _4 i

可选参数:

! M% Q/ \- I1 k/ N/ T

wc -c 打印 Bytes 数目

% Q: T7 \& X. n; {

wc -m 打印出字符数

$ X9 y1 A6 E, H, }' h7 f0 |

wc -L 打印出最长行的字符数

1 k6 p$ A2 R; `6 Y# V

wc -w 打印出单词数目

6 ^4 t% s! j7 }

SPLIT(把一个大文件分割成小文件的命令)

: `0 }& m0 ?& l5 x D( ?

文件大小可以使用这个命令大幅度改变。根据任务的不同,分割文件可能会有所帮助,所以就有了 split 命令。split 的基本语法如下:

# We will split our CSV into new_filename every 500 linessplit -l 500 ) e4 n6 p% c. r5 E- T- Z! q

filename.csv new_filename_

# filename.csv# ls output# new_filename_aaa# new_filename_aab# new_filename_aac ' m0 Q. Q: i1 i3 E4 r p

两个怪异的地方是命名约定和文件的扩展名。后缀约定可以通过-d 标志来约定为数字。为了添加文件扩展名,您需要运行下面的 find 命令。它会改变当前路径下的所有文件名,给每个文件后面扩展.csv,所以,谨慎使用。

find . -type f -exec mv {} {} # U; h7 j! V* j3 K+ l

.csv \;

# ls output# filename.csv.csv# new_filename_aaa.csv# new_filename_aab.csv# new_filename_aac.csv2 D [& C. w0 q: E6 y

可选参数:

6 J9 O( u; m0 H9 E" P3 h

split -b 通过确定的字节大小分割

' G" s- g1 C" g+ V; p: g

split -a 生成长度为 N 的后缀

& G# `, w8 d4 x- A( J

split -x 使用十六进制后缀分割

" |4 T) s4 \ t6 K; ^

SORT & UNIQ(sort:文件排序;uniq:报告或忽略文件中的重复行,与 sort 结合使用)

* |6 s- [8 ?8 S( o! e o& h- b

这两个命令提供了唯一的单词计数,这是因为 uniq 仅仅在重复的相邻行上运行。因此,这就是在输出之前进行排序的原因。一个有趣的注意事项是:sort -u 会与 sort file.txt | uniq 有着相同的结果。

# e( m. _/ G. I R8 p2 t

对于数据科学家而言,排序具是一种潜在有用的能力:即基于特定列对整个 CSV 文件进行排序的能力。

# Sorting a CSV file by the second column alphabetically % r; P, J6 r$ x! c1 D

sort -t, -k2 filename.csv

# Numerically + V6 l5 R& m! v9 |. n0 @

sort -t, -k2n filename.csv

# Reverse ordersort -t, -k2nr filename.csv

这里的-t 选项将逗号作为我们的分隔符,通常会采用空格或者制表符。此外,-k flag 用于指定关键词。

( @3 l" `: c& \) U' ^6 i0 L

可选参数:

3 \2 G0 d+ X% ]( Y8 H

sort -f 忽略大小写

: w. q( ^" n: }! n$ y6 o

sort -r 以相反的顺序排序

1 ?9 b- b! R: v9 s

sort -R 乱序

. H) ~) R9 l& E6 S+ U

uniq -c 统计出现的次数

, X* C/ ?1 c/ l; m+ I) Q% E

uniq -d 仅仅打印重复行

# }" S) ]/ W6 Y* }. _. G! I6 {& W

CUT(cut 命令用来显示行中的指定部分,删除文件中指定字段。)

* @0 m& c7 E& K# \1 X

cut 用于删除列。举例来说,如果我们要删除第一列和第三列,可以使用 cut:

cut -d, -f 1,3 filename.csv

选择除了第一列之外的每一列:

cut -d, -f 2- filename.csv

与其他命令结合使用的时候,cut 作为一个过滤器:

# Print first 10 lines of column 1 and 3, where "some_string_value" is presenthead filename.csv | grep "some_string_value" | cut -d, -f 1,3' E9 B( l# L/ d& G2 x0 `

找到第二列中某个特定值出现的次数:

cat filename.csv | cut -d, -f 2, O1 i8 z9 K% l& m5 |3 i' q& A4 j

| sort | uniq | wc -l

# Count occurences of unique values, limiting to first 10 resultscat filename.csv | cut -d, -f 2 | sort | uniq -c | head

PASTE(用于将多个文件按照列队列进行合并)

4 o. [9 a3 x. f8 d& e: k

paste 是一个简洁命令,具有一个有趣的功能。如果您有两个需要合并的文件,并且它们已经排序,paste 能够实现这些功能。

# names.txt 9 h$ }! _0 K/ v( i7 O5 X

adam

2 Z/ Q: f$ ^( w( }0 S6 }8 b

john

0 F8 M" u! e) Z r' o+ h

zach

# jobs.txt+ [# S' q$ c L" U# L- b

lawyer

* `9 X# N" C' F

youtuber

# ]# M6 ?( b2 V# N

developer

# Join the two into a CSVpaste -d ,8 M3 A S8 e" D. [

names.txt jobs.txt > person_data.txt

# Output' [' a4 e( b/ o+ @8 J" ?3 n

adam,lawyer

8 V) }* D' v" d8 z

john,youtuber

zach,developer

更具 SQL 风格的变体,请参见下文。

m5 k% h5 I) a# ^ P; K

JOIN(连接并合并文件)

* r3 J1 w1 x" @% v

join 命令是一个简单的、拟正切的 SQL。最大的区别在于 join 将返回所有列,并且只能在一个字段上进行匹配。默认情况下,join 将尝试使用第一列作为匹配键。对于不同的结果,必须使用以下语法:

# Join the first file (-1) by the second column# and the second file (-2) by the firstjoin -t, -1 2 -2 12 \6 m3 q& O6 y' r6 Q

first_file.txt second_file.txt

- \5 _# k/ E& d9 L2 v( {

标准 join 是内部连接。但是,外部连接也可以通过- a flag 实现。另一个值得注意的现象是- e 标志,如果找到丢失的字段,它可以用来替换值。

# Outer join, replace blanks with NULL in columns 1 and 2# -o which fields to substitute - 0 is key, 1.1 is first column, etc...join -t, -1 2 -a 1 -a2 -e NULL -o 0,1.1,2.2 first_file.txt second_file.txt

虽然不是最便于用户使用的命令,但是绝望的时候自有绝望的措施。

+ X* x7 F( o6 P/ v

可选参数:

; a, l1 a+ t1 _ [% N% s

join -a 打印不能匹配的行

) G5 ~* A# m% U+ V# K; r5 b

join -e 替换丢失的输入字段

, X- y' ~; U: t! T( y

join -j 等价于 -1 FIELD -2 FIELD

# Y! D `2 t- ~; C' H( D' b

GREP(这是一种强大的文本搜索工具)

/ }6 T9 |1 i1 f

全面搜索正则表达式并打印(grep),这很可能是最出名的命令。grep 有很多强大的能力,尤其是在大型代码库中以我们自己的方式寻找字段。在数据科学领域,它充当着其它命令的细化机制。

# Recursively search and list all files in directory containing wordgrep -lr word ) t9 k4 Z5 e! g2 \ c

.

# List number of files containing wordgrep -lr word . | wc -l

统计包含单词/模式的总行数

grep -c some_value9 m+ P6 G5 q0 q* ^! H. Z

filename.csv

# Same thing, but in all files in current directory by file namegrep -c some_value *

使用\|运算子进行多值操作

grep "first_value\|second_value" filename.csv

可选参数:

+ U$ e8 [9 @8 D

alias grep="grep --color=auto" 使 grep 色彩化

# o! o' \8 r; E* B& n& Z( ?7 W

grep -E 使用扩展的正则表达式

- u& p, B. M X7 t. W

grep -w 只匹配全字符

8 f2 k$ b0 x6 L

grep -l 打印出匹配的文件名

% Z, }5 F6 s. S

grep -v 反转匹配

1 ]" J9 R0 T r$ l; {7 m# F6 v0 q; i

SED(流编辑器)

8 K6 b2 w! o% G( n

sed 是一个逐行运行的流编辑器。它擅长替换,但是也可以用于所有的重构(refactoring)。

3 U: ?9 I! \- |- K. J( k" D$ M. L+ S0 Y

最基本的 sed 命令包含 s/old/new/g。这指的是搜索旧值,并用新值替换。如果没有/gour 命令,终端将在第一次出现这个值之后停止。

+ ^$ u& l* n/ A0 v E

为了快速体验这种能力,让我们来举个例子。若我们有以下文件:

/ G4 u1 A* d9 U1 d( c. s, ]

balance,name

$1,0002 `1 k/ E" x/ d, M0 @ \# g+ y4 L

,john

$2,000,jack

我们想做的第一件事就是去掉美元符号。-i flag 指的是位置,标志指的是零长度的文件扩展名,然后覆盖初始文件。理想情况下,我们可以单独测试其中的每一个,然后输出到新文件。

sed -i s/\$//g! a0 r7 C, Y; Z: U2 Z' z

data.txt

# balance,name# 1,000,john# 2,000,jack 4 [& L/ G% o8 P7 E1 Q/ Q8 c

接下来,我们处理 balance 中的逗号

sed -i s/\([0-9]\),\([0-9]\)/\1\2/g1 T7 e" Y4 q7 }

data.txt

# balance,name# 1000,john# 2000,jack. C1 l( k* O3 t) O1 D

AWK(不仅仅是一个命令)

! ]" ]6 ^+ ]' f* q' v( u7 }! _9 U

awk 不仅仅是一个简单的命令:它是一种成熟的语言。在本文所涉及的所有内容中,awk 是最酷的。如果你发现自己对 awk 印象深刻,也可以找更多的资源。

) J' z# S$ p0 [9 ^, u3 @

 awk 的用例包括:

/ t$ m4 U1 g& @, L

文本处理

9 o1 X$ c3 _$ ^

格式化文本报告

2 k8 N) E2 o- X$ h# t6 x2 f! L

执行数学运算

# C) _/ G. n( d8 l

执行字符串操作

* ~ D( i5 n' o9 t

最新版的 awk 可以与 grep 并行使用。

awk /word/ filename.csv

或者使用一些技巧将 grep 和 cut 结合起来。这里,对于所有我们要查找的 word 行,awk 打印第三列和第四列和分隔符。-F,仅将分隔符改为逗号。

awk -F, /word/ { print $3 "\t" $4 } filename.csv

awk 内置了许多优秀的变量。例如,NF -字段数,NR -记录数。要在文件中获取第五十三条记录,代码如下:

awk -F, NR == 53 filename.csv

一个额外的功能是基于一个或多个值进行过滤的能力。下面的第一个示例将打印第一列等于 string 记录的行数和列数。

awk -F, $1 == "string" { print NR, $0 } 7 n1 r( B4 Q h) l/ Y% s9 w7 ]$ d# w: B

filename.csv

# Filter based off of numerical value in second columnawk -F, $2 == 1000 { print NR, $0 } filename.csv

多数值表达式:

# Print line number and columns where column three greater# than 2005 and column five less than one thousandawk -F, $3 >= 2005 && $5 <= 1000 { print NR, $0 } filename.csv

对第三列求和:

awk -F, { x+=$3 } END { print x } filename.csv

对第一列等于『something』的所有行,对它们的第三列求和。

awk -F, $1 == "something" { x+=$3 } END { print x } filename.csv

得到文件的维度:

awk -F, END { print NF, NR }/ e0 w& W+ m( [# e( S- D

filename.csv

# Prettier versionawk -F, BEGIN { print "COLUMNS", "ROWS" }; END { print NF, NR } filename.csv

打印出现两次的行:

awk -F, ++seen[$0] == 2 filename.csv

删除重复的行:

# Consecutive linesawk a !~ $0; {a=$0} - P( H3 V% p4 J3 C8 ~0 g t& P

]

# Nonconsecutive linesawk ! a[$0]++ , b1 U: l* M: } F# g9 J) S

filename.csv

# More efficientawk 6 l ~; T: B% O# o" E0 r- v

!($0 in a) {a[$0];print}

% P7 l3 J+ W0 G, Z# _
' r# j# P; E! J0 S& Z

使用内置函数 gsub() 替换多值:

awk {gsub(/scarlet|ruby|puce/, "red"); print} 8 L6 a+ M I* r, V9 g5 t

这个 awk 命令将合并多个 CSV 文件,忽略文件头,然后将其附加到末尾。

awk FNR==1 && NR!=1{next;}{print} *.csv > final_file.csv

需要缩减大量文件?awk 可以在 sed 的帮助下处理这个问题。具体而言,这个命令可以基于行数将 一个大文件拆分为多个小文件。

sed 1d;$d filename.csv | awk NR%NUMBER_OF_LINES==1{x="filename-"++i".csv";}{print > x}# Example: splitting big_data.csv into data_(n).csv every 100,000 linessed 1d;$d big_data.csv | awk NR%100000==1{x="data_"++i".csv";}{print > x}3 m) H! ]" Y0 X

结语

* Z9 @3 K8 N$ M" K- m

命令行拥有无穷无尽的能力。本文中介绍的命令足以让您在短时间内从小白变成高手。除了这些内容之外,还有许多用于日常数据处理的程序需要考虑。如果你想深入了解命令行数据科学,可以多找一些详细的资源。

# \; N4 J! ?' ~4 E' Y

原文链接:

3 t$ o. d& \7 d4 @! x* m

https://medium.com/@kadek/command-line-tricks-for-data-scientists-c98e0abe5da

& N; j* @* S0 A# t4 V5 ?

本文为机器之心编译,转载请联系本公众号获得授权

+ T) a% I, N0 c. K

✄------------------------------------------------

# F5 Q, ]7 J4 ?8 n; p- x* C+ ]' f3 M& Z

加入机器之心(全职记者/实习生):hr@jiqizhixin.com

% v4 Y6 S$ B) A* ?, m5 ^% X9 P

投稿或寻求报道:content@jiqizhixin.com

" u0 S& X+ `) I) A8 H- _

广告&商务合作:bd@jiqizhixin.com

- f3 _5 y1 Y6 O5 b. }0 h: @
+ f9 V9 z) e# n6 P8 t% m9 b7 k
1 Y+ `" p. W$ s" ^! b2 F
# _6 d" r) x0 x& [ ! f0 d+ ~/ i7 j9 w% M# h# A9 h" s3 ~' C4 Q& j* ]$ b 0 n. |% Z; I# t& i( `7 X+ O3 n# a: |* f* d/ [ f
回复

举报 使用道具

相关帖子

全部回帖
暂无回帖,快来参与回复吧
懒得打字?点击右侧快捷回复 【吾爱海洋论坛发文有奖】
您需要登录后才可以回帖 登录 | 立即注册
华德地毯
活跃在2025-1-26
快速回复 返回顶部 返回列表