资源 | 简单快捷的数据处理,数据科学需要注意的命令行

[复制链接]
& F2 X' t/ Z" h( O# h; |) q/ H
/ @8 u% z! ~4 ]: m1 t9 l
" R7 g" k& Y6 [ R7 L3 F
原标题:资源 | 简单快捷的数据处理,数据科学需要注意的命令行 选自Medium 作者:Kade K
7 W/ s; I; Z, I' s
& F& Y# J4 K: ~ D
2 k+ e+ n8 {" |6 [; m, G
6 ^$ t7 r: }. f7 q+ F

原标题:资源 | 简单快捷的数据处理,数据科学需要注意的命令行

; m! l* T6 M: w# h7 S% Y& B

选自Medium

; A+ W% s6 L7 {+ @

作者:Kade Killary

/ }( c9 d# k' s7 _: g) b

机器之心编译

% I$ k" l8 |! l5 `# Q7 l

参与:Nurhachu Null、思源

. A2 _6 h( q' p/ C

对很多数据科学家而言,他们的数据操作经常需要使用 Pandas 或者 Tidyverse。理论上,这个说法没有任何错误,毕竟这就是这些工具存在的原因。然而,对于分隔符转换这样的简单任务而言,这些工具往往是大材小用,我们可以直接使用命令行快速处理。

- z% V0 P+ |. l: {( m; f; j. J3 J8 w: D! J

命令行应该是每个开发者都希望掌握的,尤其是数据科学家。熟悉终端的来龙去脉可以毫无疑问地可以让我们变得更加有效率,因此命令行还是计算机技术中的一个很棒的历史课。例如,awk 这个数据驱动的脚本语言是 1977 年在 Brina Kernighan 的帮助下首次出现的,Brina Kernighan 就是 K&R 这本书中的 K。在 50 年后的今天,每年仍然能够出现与 awk 相关的新书。因此,我们可以相对保守地假设:一项针对命令行才能的投资在任何新近的时间内都不会贬值。

" m5 f5 a. G7 C3 B1 c1 B0 b6 y
4 B9 s; b) E, O! |5 _% j
! y6 D& Q6 d+ @2 I
打开凤凰新闻,查看更多高清图片
/ K w: |- |! U! w
- {/ c' T. _' S1 p/ G6 b% @& \3 q4 d! z3 R
3 \9 _: R# r" s; K& U1 a

我们将会涉及以下内容

' I5 h3 J$ o# I2 Y+ W

ICONV

7 v& i9 o$ B8 z* B4 m4 t

HEAD

0 {: g3 w8 W& i

TR

: v2 \2 p; b# P% y$ z1 \

WC

0 R& J# A2 [1 v, ?

SPLIT

- {% \4 w9 f: l3 q' E2 ]0 Y

SORT & UNIQ

4 `2 \6 _; {4 e g& K+ v

CUT

! H4 e3 l. x, D% q3 ~: {

PASTE

8 e1 t: O$ U' d4 e

JOIN

s; E) _$ A% x9 t

GREP

. R2 M% q1 ~ Q% g2 h

SED

: l* q. u* k) t* w- w

AWK

2 A: g5 a& H1 b1 {% a0 b L

ICONV(用来转换文件的编码方式)

* I) z( Q- R3 d9 O3 W

文件编码可能是比较棘手的。现在的多数文件都是 UTF-8 编码,然而有时候我们拿到的文件并不是这个格式的。这可能导致交换编码格式时的一些不靠谱的尝试。这里,iconv 是一个拯救者,它能以一种编码的文本为输入,输出另一种编码的文本。

# Converting -f (from) latin1 (ISO-8859-1)# -t (to) standard UTF_8iconv -f ISO-8859-1 -t UTF-8* S1 B7 f. E- l

< input.txt > output.txt

) l# b$ z; n, @# H

可选参数:

: j% ^' d* K5 j9 m7 _* t; P

iconv -l 列出所有已知的编码字符集合

8 H$ k4 g- ^7 f1 f, `

iconv -c 忽略不能转换的非法字符,静默地丢弃

6 |0 a5 b, Y' B4 ^' ]. h: d, B' c

HEAD(用于显示文件的开头内容)

' T1 K' `$ r {" o/ ^. S$ ~8 Y- t, \! v

如果你是一个频繁使用 Pandas 的用户,那么你会比较熟悉 df.head()。默认情况下 head 命令显示文件的前 10 行内容,当然我们也可以选择不同的参数确定打印的行数或字符数。

# Prints out first 10 lines $ b& E1 T6 A/ `5 X. o

head filename.csv

# Print first 3 lineshead -n 3 % R. C4 m; I7 J h

filename.csv

* ?2 v& q' Z1 C, V/ f! u

可选参数:

, S1 O* j4 q8 S+ T

head -n <数字> 打印特定数目的行数

8 k5 ]1 R& f! j. f7 W0 O0 R

head -c <字符数> 打印特定数目的字符

- O3 M9 O& ]; G& r

TR(对字符进行替换、压缩和删除)

2 _0 v! E( z' D; `5 \; i

tr 与转译比较类似,它的强大能力是文件清理的主要工具。例如以下交换文件中的分隔符:

# Converting a tab delimited file into commascat tab_delimited.txt | tr "\\t" "," comma_delimited.csv

tr 的另一个功能是由我们控制的内置 [:class:] 参数,这些用法包括:

* i8 X/ O) h! S# E$ N

[:alnum:] 所有的字母和数字

. n! w4 K4 }) p+ Q0 J6 g

[:alpha:] 所有的字母

$ `1 h: z* v6 k! [7 O/ ~9 j$ T

[:blank:] 所有的水平空格

1 i1 B; ^ q1 I* C2 K. q6 F# ?

[:cntrl:] 所有的控制字符(非打印)

3 a4 M; B B( O1 o7 d7 g) V! F

[:digit:] 所有的数字

& e1 i5 D* x7 n! D/ V% Q% u

[:graph:] 所有的可打印字符,不包含空格

7 G2 M; Q% a6 D+ R# W T

[:lower:] 所有的小写字母

2 C) \# t- i4 |6 _6 n# ]

[:print:] 所有的可打印字符,包含空格

+ }- O' c( G5 p' n& W. u

[:punct:] 所有的标点符号

i+ I; x# y) Z, K8 E8 ^

[:space:] 所有的水平或垂直空格

7 g6 Z/ z$ Z, Y8 K ?3 T+ J) {+ X

[:upper:] 所有的大写字母

7 P5 ]% z8 _3 b1 s! W* a; [" t

[:xdigit:] 所有的十六进制字符

& h2 ^6 p5 O) m$ i/ ^' b

我们可以将它们连接在一起组成强大的程序。下面是一个基本的字数统计程序,我们可以用它来检查 README 文档。

cat README.md | tr "[:punct:][:space:]" "\n" | tr "[:upper:]" "[:lower:]" 5 H7 Y. M( d$ W7 j. T

| grep . | sort | uniq -c | sort -nr

3 ^& Y4 Q& @1 v) u

使用基本正则表达式的另一个例子是:

# Converting all upper case letters to lower casecat filename.csv | tr [A-Z] [a-z] W4 H( Z8 }, [; f; I0 v( `: |7 F/ ~

可选参数:

q0 {/ U4 t$ ?. I9 I. n1 k* n$ w

tr -d 删除字符

# J1 ^# X9 ?3 j2 w. Q/ t

tr -s 压缩字符(将连续重复的字符用一个字符表示)

! O! X; W9 N, N5 x7 |" k6 }

\b 空格

1 \# `4 D# H! G! M; J) v

\f 换页符

, B5 F9 [6 t+ m" g6 C

\v 垂直制表符

d& ~2 h" e3 ?$ |/ u' @! z A q

\NNN 八进制字符 NNN

! P2 }) h e4 d b5 x

WC(用来计数的命令)

3 }) V6 X9 T0 p# T

它的值主要来自于 -l flag,它会提供文档的行数。

# Will return number of lines in CSVwc -l gigantic_comma.csv

这个工具可以方便地确认各种命令的输出。所以,如果我们转换了文件中的分隔符,那么运行 wc -l 就可以查看总行数是不是相同,不同就是出了问题。

: L7 m( J4 m& N r5 |

可选参数:

" o" e5 u* P- N; }

wc -c 打印 Bytes 数目

# b1 {# _8 `) K/ u. V/ O) j

wc -m 打印出字符数

/ d: ?/ z+ ?1 k4 V0 f- `

wc -L 打印出最长行的字符数

M" \" X/ e0 _3 [4 _ G

wc -w 打印出单词数目

; [) C! L8 P$ Q. E' V$ A

SPLIT(把一个大文件分割成小文件的命令)

" r% J) s: ]% O5 S

文件大小可以使用这个命令大幅度改变。根据任务的不同,分割文件可能会有所帮助,所以就有了 split 命令。split 的基本语法如下:

# We will split our CSV into new_filename every 500 linessplit -l 500+ _1 ~* I4 g( J# B$ M5 ]

filename.csv new_filename_

# filename.csv# ls output# new_filename_aaa# new_filename_aab# new_filename_aac5 a9 O: |' R6 \5 M

两个怪异的地方是命名约定和文件的扩展名。后缀约定可以通过-d 标志来约定为数字。为了添加文件扩展名,您需要运行下面的 find 命令。它会改变当前路径下的所有文件名,给每个文件后面扩展.csv,所以,谨慎使用。

find . -type f -exec mv {} {}4 b9 W9 g \' A7 K2 w

.csv \;

# ls output# filename.csv.csv# new_filename_aaa.csv# new_filename_aab.csv# new_filename_aac.csv% p+ [8 S% @9 D% c% G, ^! n9 K

可选参数:

: e; L9 f. Y! {$ r

split -b 通过确定的字节大小分割

' g; z7 N. U. ]

split -a 生成长度为 N 的后缀

% J8 [+ q k( N! J8 o' a2 _

split -x 使用十六进制后缀分割

8 |; P8 J6 B7 H6 }7 n+ }8 m

SORT & UNIQ(sort:文件排序;uniq:报告或忽略文件中的重复行,与 sort 结合使用)

/ ]; B `. G3 T/ k

这两个命令提供了唯一的单词计数,这是因为 uniq 仅仅在重复的相邻行上运行。因此,这就是在输出之前进行排序的原因。一个有趣的注意事项是:sort -u 会与 sort file.txt | uniq 有着相同的结果。

2 n6 j) A" z/ \- g8 R0 I

对于数据科学家而言,排序具是一种潜在有用的能力:即基于特定列对整个 CSV 文件进行排序的能力。

# Sorting a CSV file by the second column alphabetically / P' n& x- J% Y x: k$ w9 g

sort -t, -k2 filename.csv

# Numerically/ R2 S* X2 S3 n* K

sort -t, -k2n filename.csv

# Reverse ordersort -t, -k2nr filename.csv

这里的-t 选项将逗号作为我们的分隔符,通常会采用空格或者制表符。此外,-k flag 用于指定关键词。

/ z1 G9 _% \1 }$ c, \: a. w9 R: E9 ?

可选参数:

" t7 ]# M# D" n8 u; [& _

sort -f 忽略大小写

. t4 `, H. q6 e, }9 s6 p1 n

sort -r 以相反的顺序排序

: K+ h. d& I" { b2 {& a# j

sort -R 乱序

. E6 e9 }. m2 P* n8 N* H

uniq -c 统计出现的次数

9 u# K1 \ ^, m) ^# M' ^. @

uniq -d 仅仅打印重复行

, `2 }. _, o$ T

CUT(cut 命令用来显示行中的指定部分,删除文件中指定字段。)

$ c/ `; \; w0 M' v; o

cut 用于删除列。举例来说,如果我们要删除第一列和第三列,可以使用 cut:

cut -d, -f 1,3 filename.csv

选择除了第一列之外的每一列:

cut -d, -f 2- filename.csv

与其他命令结合使用的时候,cut 作为一个过滤器:

# Print first 10 lines of column 1 and 3, where "some_string_value" is presenthead filename.csv | grep "some_string_value" | cut -d, -f 1,3- z* G. K7 p( t3 Z3 Z

找到第二列中某个特定值出现的次数:

cat filename.csv | cut -d, -f 2 1 _/ R6 k& Q5 Q8 I" T, ]9 ]* ~* I. g

| sort | uniq | wc -l

# Count occurences of unique values, limiting to first 10 resultscat filename.csv | cut -d, -f 2 | sort | uniq -c | head

PASTE(用于将多个文件按照列队列进行合并)

i$ R& J6 F5 j

paste 是一个简洁命令,具有一个有趣的功能。如果您有两个需要合并的文件,并且它们已经排序,paste 能够实现这些功能。

# names.txt) r) O( ~8 x+ ~ p5 r. L* l

adam

6 |+ _% X7 Z7 D9 L! i9 w) Y

john

/ [/ ~$ v- ]& I- v9 H

zach

# jobs.txt * a% l1 I/ h7 B

lawyer

5 |3 E! r+ U( D; I$ w2 B

youtuber

, f! I, p2 R8 p" ^5 Q( m

developer

# Join the two into a CSVpaste -d , 5 K- L" C w+ l& J/ a

names.txt jobs.txt > person_data.txt

# Output4 `. z. S7 t/ y! T5 E, `$ U. L

adam,lawyer

5 l, z8 z6 e6 n

john,youtuber

zach,developer

更具 SQL 风格的变体,请参见下文。

1 u) E0 |( C8 m) `$ o2 [" y! G: b

JOIN(连接并合并文件)

3 `3 m b3 H: O& m( G

join 命令是一个简单的、拟正切的 SQL。最大的区别在于 join 将返回所有列,并且只能在一个字段上进行匹配。默认情况下,join 将尝试使用第一列作为匹配键。对于不同的结果,必须使用以下语法:

# Join the first file (-1) by the second column# and the second file (-2) by the firstjoin -t, -1 2 -2 14 d# s; `8 B+ f/ x

first_file.txt second_file.txt

; ]& |" k: R2 X0 o3 D

标准 join 是内部连接。但是,外部连接也可以通过- a flag 实现。另一个值得注意的现象是- e 标志,如果找到丢失的字段,它可以用来替换值。

# Outer join, replace blanks with NULL in columns 1 and 2# -o which fields to substitute - 0 is key, 1.1 is first column, etc...join -t, -1 2 -a 1 -a2 -e NULL -o 0,1.1,2.2 first_file.txt second_file.txt

虽然不是最便于用户使用的命令,但是绝望的时候自有绝望的措施。

@- i* L. I: g2 X) s" L% a

可选参数:

$ B' |5 C# H: x g3 l

join -a 打印不能匹配的行

# _; e; a. h C/ o" ~

join -e 替换丢失的输入字段

s: [! _6 p: \0 B0 n5 C, @

join -j 等价于 -1 FIELD -2 FIELD

- I: m; e% g1 n* i. O! q, [- Q5 K

GREP(这是一种强大的文本搜索工具)

$ X' P) R. F0 L S- P+ w6 m& l

全面搜索正则表达式并打印(grep),这很可能是最出名的命令。grep 有很多强大的能力,尤其是在大型代码库中以我们自己的方式寻找字段。在数据科学领域,它充当着其它命令的细化机制。

# Recursively search and list all files in directory containing wordgrep -lr word 4 s: K6 s8 p# h3 I% t! i

.

# List number of files containing wordgrep -lr word . | wc -l

统计包含单词/模式的总行数

grep -c some_value + z: F9 p* s7 P: h A/ [

filename.csv

# Same thing, but in all files in current directory by file namegrep -c some_value *

使用\|运算子进行多值操作

grep "first_value\|second_value" filename.csv

可选参数:

7 x+ V5 ~7 w( `6 O( p# t5 P! G

alias grep="grep --color=auto" 使 grep 色彩化

5 w4 l% W1 z# Z; b! @

grep -E 使用扩展的正则表达式

/ N) e' ^: q ]2 S! Q. A

grep -w 只匹配全字符

1 K/ f) n# @# l8 k0 q1 `( b* U s2 u

grep -l 打印出匹配的文件名

6 ~9 C* ~5 p' N D

grep -v 反转匹配

* n" R2 o1 G u- F' C

SED(流编辑器)

5 R; Z5 c% [: b5 m

sed 是一个逐行运行的流编辑器。它擅长替换,但是也可以用于所有的重构(refactoring)。

9 p7 m: h8 d/ C {2 k5 ]

最基本的 sed 命令包含 s/old/new/g。这指的是搜索旧值,并用新值替换。如果没有/gour 命令,终端将在第一次出现这个值之后停止。

3 S7 M$ X c- J# Q4 A" w

为了快速体验这种能力,让我们来举个例子。若我们有以下文件:

, P/ j4 X; J! q% i* H" [7 t

balance,name

$1,000( O3 \0 T8 y: t* \

,john

$2,000,jack

我们想做的第一件事就是去掉美元符号。-i flag 指的是位置,标志指的是零长度的文件扩展名,然后覆盖初始文件。理想情况下,我们可以单独测试其中的每一个,然后输出到新文件。

sed -i s/\$//g $ ~4 B- { L- ^% {

data.txt

# balance,name# 1,000,john# 2,000,jack& Y$ }1 ]' l' T6 O0 \

接下来,我们处理 balance 中的逗号

sed -i s/\([0-9]\),\([0-9]\)/\1\2/g 5 o# c' U8 X: S, b1 a" M4 W' H5 T& \

data.txt

# balance,name# 1000,john# 2000,jack/ q. W) n5 Q) H2 u m

AWK(不仅仅是一个命令)

N; V4 M9 C. ?/ v

awk 不仅仅是一个简单的命令:它是一种成熟的语言。在本文所涉及的所有内容中,awk 是最酷的。如果你发现自己对 awk 印象深刻,也可以找更多的资源。

/ ?6 O) H j* u4 x: }. z

 awk 的用例包括:

. X* D+ Y0 n ?. _' [1 W

文本处理

; i2 E$ [6 G& n3 _4 D

格式化文本报告

! q" Z% T- n# w2 h8 V

执行数学运算

+ W9 \- x$ a9 O# C

执行字符串操作

6 Y' Q4 S6 \1 C. V' a) o5 L1 |

最新版的 awk 可以与 grep 并行使用。

awk /word/ filename.csv

或者使用一些技巧将 grep 和 cut 结合起来。这里,对于所有我们要查找的 word 行,awk 打印第三列和第四列和分隔符。-F,仅将分隔符改为逗号。

awk -F, /word/ { print $3 "\t" $4 } filename.csv

awk 内置了许多优秀的变量。例如,NF -字段数,NR -记录数。要在文件中获取第五十三条记录,代码如下:

awk -F, NR == 53 filename.csv

一个额外的功能是基于一个或多个值进行过滤的能力。下面的第一个示例将打印第一列等于 string 记录的行数和列数。

awk -F, $1 == "string" { print NR, $0 } 6 K4 B5 V$ W8 d/ G" A

filename.csv

# Filter based off of numerical value in second columnawk -F, $2 == 1000 { print NR, $0 } filename.csv

多数值表达式:

# Print line number and columns where column three greater# than 2005 and column five less than one thousandawk -F, $3 >= 2005 && $5 <= 1000 { print NR, $0 } filename.csv

对第三列求和:

awk -F, { x+=$3 } END { print x } filename.csv

对第一列等于『something』的所有行,对它们的第三列求和。

awk -F, $1 == "something" { x+=$3 } END { print x } filename.csv

得到文件的维度:

awk -F, END { print NF, NR }- f' _) j7 B [* C

filename.csv

# Prettier versionawk -F, BEGIN { print "COLUMNS", "ROWS" }; END { print NF, NR } filename.csv

打印出现两次的行:

awk -F, ++seen[$0] == 2 filename.csv

删除重复的行:

# Consecutive linesawk a !~ $0; {a=$0} 0 w+ ^) B/ X- Z4 p4 d' R1 _& l

]

# Nonconsecutive linesawk ! a[$0]++ 6 R3 G. ^& r* j! C

filename.csv

# More efficientawk 2 k2 f0 B' B% |' N, n1 G

!($0 in a) {a[$0];print}

/ A5 k6 \2 p# Z1 D
/ Z1 J* k/ R- x9 A

使用内置函数 gsub() 替换多值:

awk {gsub(/scarlet|ruby|puce/, "red"); print} . g0 r/ {3 c( g8 i& r; p

这个 awk 命令将合并多个 CSV 文件,忽略文件头,然后将其附加到末尾。

awk FNR==1 && NR!=1{next;}{print} *.csv > final_file.csv

需要缩减大量文件?awk 可以在 sed 的帮助下处理这个问题。具体而言,这个命令可以基于行数将 一个大文件拆分为多个小文件。

sed 1d;$d filename.csv | awk NR%NUMBER_OF_LINES==1{x="filename-"++i".csv";}{print > x}# Example: splitting big_data.csv into data_(n).csv every 100,000 linessed 1d;$d big_data.csv | awk NR%100000==1{x="data_"++i".csv";}{print > x} # ^) L! K) t. l/ Y/ d; j3 Q

结语

5 p: H- J& ]; T5 _% y: T

命令行拥有无穷无尽的能力。本文中介绍的命令足以让您在短时间内从小白变成高手。除了这些内容之外,还有许多用于日常数据处理的程序需要考虑。如果你想深入了解命令行数据科学,可以多找一些详细的资源。

& x& k& @# {/ S, _+ e

原文链接:

1 Y& N F S* l: b# N

https://medium.com/@kadek/command-line-tricks-for-data-scientists-c98e0abe5da

# `( o; e: M; ^

本文为机器之心编译,转载请联系本公众号获得授权

/ b, |) C) M- u. ~* x* ]. {

✄------------------------------------------------

5 w- _% x' ^# i2 G" d; F: d9 H Y( @

加入机器之心(全职记者/实习生):hr@jiqizhixin.com

. m) g9 h/ v5 h0 E& x. F" R

投稿或寻求报道:content@jiqizhixin.com

; t) T2 w6 u: Y9 v- S b2 J+ c; I

广告&商务合作:bd@jiqizhixin.com

0 o2 Q G4 r5 H' A. m; q
# K+ L) m" T7 R! v0 K
1 S1 |; y- W/ A$ j: C
, a( P( W4 ?1 q7 e" } / r! j$ Y7 D/ r+ E7 I* e n- O; o% l- `4 l + ^ l3 o' q$ x : \; X& i9 ^: j* d( t
回复

举报 使用道具

相关帖子

全部回帖
暂无回帖,快来参与回复吧
懒得打字?点击右侧快捷回复 【吾爱海洋论坛发文有奖】
您需要登录后才可以回帖 登录 | 立即注册
华德地毯
活跃在前天 23:22
快速回复 返回顶部 返回列表