6 R, z+ D) I- g 原标题:资源 | 简单快捷的数据处理,数据科学需要注意的命令行
& P% N2 ~) V" A& w7 _: a3 l
选自Medium
* r8 O- `% z9 f: d# t 作者:Kade Killary
+ `! y: ?4 b* a2 A) v" f 机器之心编译
2 Q) E+ D2 {9 D3 I+ s" ]& M
参与:Nurhachu Null、思源
6 k! i: t1 o5 U! a. f! c 对很多数据科学家而言,他们的数据操作经常需要使用 Pandas 或者 Tidyverse。理论上,这个说法没有任何错误,毕竟这就是这些工具存在的原因。然而,对于分隔符转换这样的简单任务而言,这些工具往往是大材小用,我们可以直接使用命令行快速处理。
D* x/ v) r* x! A2 n7 r
命令行应该是每个开发者都希望掌握的,尤其是数据科学家。熟悉终端的来龙去脉可以毫无疑问地可以让我们变得更加有效率,因此命令行还是计算机技术中的一个很棒的历史课。例如,awk 这个数据驱动的脚本语言是 1977 年在 Brina Kernighan 的帮助下首次出现的,Brina Kernighan 就是 K&R 这本书中的 K。在 50 年后的今天,每年仍然能够出现与 awk 相关的新书。因此,我们可以相对保守地假设:一项针对命令行才能的投资在任何新近的时间内都不会贬值。
2 H9 v( j9 y0 O& ~/ f3 S
; x: K9 O0 v- Y/ V
+ p' v8 }: m* n; N, q
打开凤凰新闻,查看更多高清图片
+ M0 o+ T% }" d7 o
3 ~$ P4 G; k/ w G H& ~ }7 u ' U" Q5 D3 P$ i$ F. Q
我们将会涉及以下内容
, f3 \! F* R- _2 ^" G3 {% y7 I* o: V ICONV
" f5 M& K$ @2 @* e. u9 g$ ` HEAD
' o3 T" c. b/ q TR
5 B+ G: ~: B! Z4 N9 n6 o ~* R
WC
* A) |' p5 X1 M; |9 u SPLIT
( ~- R1 Q, a6 W: ` SORT & UNIQ
+ t7 W t+ ?) v4 V+ D7 ] CUT
$ ~# h0 Y" v& H, D+ e
PASTE
& t# ^, |9 Y) N- y- b8 F- l k' z; R JOIN
6 I. t8 c1 X8 Y. j3 u/ | p+ B$ Z GREP
7 r5 D k( r Q6 y% w6 P0 H; }! B$ |
SED
s: i2 u6 y( x: {% z! I6 }( m" v$ Q
AWK
* r( E: y; Z: r( t% _! c U
ICONV(用来转换文件的编码方式)
9 }0 t2 ~/ c2 k! }1 u6 W" ~ 文件编码可能是比较棘手的。现在的多数文件都是 UTF-8 编码,然而有时候我们拿到的文件并不是这个格式的。这可能导致交换编码格式时的一些不靠谱的尝试。这里,iconv 是一个拯救者,它能以一种编码的文本为输入,输出另一种编码的文本。
# Converting -f (from) latin1 (ISO-8859-1)# -t (to) standard UTF_8iconv -f ISO
-8859-1 -t UTF
-8
' k) f8 i$ w- \$ N# w/ w' a < input.txt > output.txt
' K$ B2 W* T: b y% o 可选参数:
! z9 a: P- Z+ {% e8 @4 E
iconv -l 列出所有已知的编码字符集合
# ?0 \6 y( b. y, z) w
iconv -c 忽略不能转换的非法字符,静默地丢弃
\, O' T+ H6 w: R% x9 B( h6 h
HEAD(用于显示文件的开头内容)
- \( H- C0 \( s8 f
如果你是一个频繁使用 Pandas 的用户,那么你会比较熟悉 df.head()。默认情况下 head 命令显示文件的前 10 行内容,当然我们也可以选择不同的参数确定打印的行数或字符数。
# Prints out first 10 lines6 w1 D) g, N1 k# r: T5 r
head filename.csv
# Print first 3 lineshead -n
3 O# @# O: s) B2 k" `$ p+ }
filename.csv
) i3 j* R8 w- e; V& x3 z 可选参数:
3 [& V) ^$ r5 D) z W head -n <数字> 打印特定数目的行数
, r$ P. }4 W8 C; R head -c <字符数> 打印特定数目的字符
* ^3 @) q9 k: m" i% `, E5 W2 t
TR(对字符进行替换、压缩和删除)
$ f1 i& |. F9 Z; a3 E' R tr 与转译比较类似,它的强大能力是文件清理的主要工具。例如以下交换文件中的分隔符:
# Converting a tab delimited file into commascat tab_delimited.txt | tr
"\\t" "," comma_delimited.csv
tr 的另一个功能是由我们控制的内置 [:class:] 参数,这些用法包括:
3 G" S$ V; N. P% R# c. w! u! U0 P [:alnum:] 所有的字母和数字
% I2 m* u; o9 n x" H( C
[:alpha:] 所有的字母
+ c" S h( J; h( P
[:blank:] 所有的水平空格
+ Z, N8 y/ W. V4 r, J% c
[:cntrl:] 所有的控制字符(非打印)
; y R) e$ N4 z+ w2 V
[:digit:] 所有的数字
# r" f1 m- X, O. Q. J [:graph:] 所有的可打印字符,不包含空格
+ |6 r1 H+ m, \5 ^+ z [:lower:] 所有的小写字母
. Z# i. C+ e: N" w% Y$ T L [:print:] 所有的可打印字符,包含空格
: f, ^$ `" N4 ]' Q$ w
[:punct:] 所有的标点符号
2 ]3 Z7 i4 K d# Z9 o, n6 C t: t6 c [:space:] 所有的水平或垂直空格
; N: d' v5 U8 O6 N% M5 S* m [:upper:] 所有的大写字母
3 l# F! h t# c1 s# w/ f [:xdigit:] 所有的十六进制字符
9 y8 P# y, M+ ^( z( U3 q4 y, L6 \2 ?
我们可以将它们连接在一起组成强大的程序。下面是一个基本的字数统计程序,我们可以用它来检查 README 文档。
cat README.md | tr
"[:punct:][:space:]" "\n" | tr
"[:upper:]" "[:lower:]"
! W3 Y# Z: O* p) `. W6 D% g1 ? | grep . | sort | uniq -c | sort -nr
. T6 K' \6 B0 q* y
使用基本正则表达式的另一个例子是:
# Converting all upper case letters to lower casecat filename.csv | tr
[A-Z] [a-z]
3 }3 P! ?0 ^ q; L7 S* e. U% w4 p 可选参数:
V+ ?0 l3 |$ N7 j9 i, f4 W tr -d 删除字符
% I" B$ g1 h! ?# ~. L* ? tr -s 压缩字符(将连续重复的字符用一个字符表示)
% q w3 E: A N- {4 d2 ]" v" G \b 空格
; u# f, _& j3 w6 R
\f 换页符
- y6 U( f+ |& H# O2 {7 z( k Y
\v 垂直制表符
% P+ M+ v. i! O! [1 t3 R! V Q \NNN 八进制字符 NNN
# m3 ~- m+ @4 S+ h8 g WC(用来计数的命令)
8 G3 c+ [2 f3 A& G 它的值主要来自于 -l flag,它会提供文档的行数。
# Will return number of lines in CSVwc -l gigantic_comma.csv
这个工具可以方便地确认各种命令的输出。所以,如果我们转换了文件中的分隔符,那么运行 wc -l 就可以查看总行数是不是相同,不同就是出了问题。
& {" [8 C7 ~% W+ t
可选参数:
5 s7 j: G; F' W( ~; `! R0 y
wc -c 打印 Bytes 数目
z. \4 a L- A7 `/ ~+ X" y wc -m 打印出字符数
) m( o1 a& b8 Z; D" V/ x, F
wc -L 打印出最长行的字符数
" X4 ~4 y, j* o wc -w 打印出单词数目
8 c/ T/ o8 X+ g. }* V4 Q. F5 P SPLIT(把一个大文件分割成小文件的命令)
; f; l: A' B9 D
文件大小可以使用这个命令大幅度改变。根据任务的不同,分割文件可能会有所帮助,所以就有了 split 命令。split 的基本语法如下:
# We will split our CSV into new_filename every 500 linessplit -l
500
1 o3 `; Q) @8 k; N$ ? filename.csv new_filename_
# filename.csv# ls output# new_filename_aaa# new_filename_aab# new_filename_aac5 B+ K9 ~6 c* Z
两个怪异的地方是命名约定和文件的扩展名。后缀约定可以通过-d 标志来约定为数字。为了添加文件扩展名,您需要运行下面的 find 命令。它会改变当前路径下的所有文件名,给每个文件后面扩展.csv,所以,谨慎使用。
find . -type f -
exec mv
{} {}
* ?7 t, d% p. F7 i% l. Z5 T6 ? .csv \;
# ls output# filename.csv.csv# new_filename_aaa.csv# new_filename_aab.csv# new_filename_aac.csv
( d4 n) v6 o! Q; Y& v 可选参数:
f9 c* I7 @" p6 ^' K# _8 T split -b 通过确定的字节大小分割
; }* ~5 O2 s) s; d) |2 i7 x split -a 生成长度为 N 的后缀
- f% _* ?& _0 }9 U( a
split -x 使用十六进制后缀分割
% ^" a& w1 S% |$ g! @( }# ^ SORT & UNIQ(sort:文件排序;uniq:报告或忽略文件中的重复行,与 sort 结合使用)
5 ?" [7 a; E( t3 p$ M, ?" g
这两个命令提供了唯一的单词计数,这是因为 uniq 仅仅在重复的相邻行上运行。因此,这就是在输出之前进行排序的原因。一个有趣的注意事项是:sort -u 会与 sort file.txt | uniq 有着相同的结果。
- M3 T z% D1 _# p/ d3 G 对于数据科学家而言,排序具是一种潜在有用的能力:即基于特定列对整个 CSV 文件进行排序的能力。
# Sorting a CSV file by the second column alphabetically
) Q+ \* c1 R7 R sort -t, -k2 filename.csv
# Numerically
) t# u7 U$ W1 N( L) a6 l! ~ sort -t, -k2n filename.csv
# Reverse ordersort -t, -k2nr filename.csv
这里的-t 选项将逗号作为我们的分隔符,通常会采用空格或者制表符。此外,-k flag 用于指定关键词。
# X5 G4 z8 `7 D% b+ h, V3 X 可选参数:
- L, \) |# j% f* H& h5 M$ U sort -f 忽略大小写
+ g% O9 ~5 q$ [9 e/ |
sort -r 以相反的顺序排序
( a L8 F' z+ {8 z
sort -R 乱序
' v7 \: O' e9 C! S g4 T uniq -c 统计出现的次数
E- {5 ?& q; m' D6 W6 _- i uniq -d 仅仅打印重复行
2 O; u; D3 b3 q9 |! x
CUT(cut 命令用来显示行中的指定部分,删除文件中指定字段。)
" W X/ V* b* b' x4 S2 n) l- ^7 n- k% o
cut 用于删除列。举例来说,如果我们要删除第一列和第三列,可以使用 cut:
cut -d, -f
1,
3 filename.csv
选择除了第一列之外的每一列:
cut -d, -f
2- filename.csv
与其他命令结合使用的时候,cut 作为一个过滤器:
# Print first 10 lines of column 1 and 3, where "some_string_value" is presenthead filename.csv | grep
"some_string_value" | cut -d, -f
1,
31 W# F$ i- v: r0 r9 Q- ^
找到第二列中某个特定值出现的次数:
cat filename.csv | cut -d, -f
2
2 A; B* Q1 h0 R( w | sort | uniq | wc -l
# Count occurences of unique values, limiting to first 10 resultscat filename.csv | cut -d, -f
2 | sort | uniq -c | head
PASTE(用于将多个文件按照列队列进行合并)
+ H4 D9 w6 K; J
paste 是一个简洁命令,具有一个有趣的功能。如果您有两个需要合并的文件,并且它们已经排序,paste 能够实现这些功能。
# names.txt
) d- E& |9 X" z: c2 V* H adam
# |+ ? U9 Q8 ?% c* _2 ?- b
john
4 e9 c N# E7 x I zach
# jobs.txt
5 w- o# A; l/ e0 s( A+ ? lawyer
/ S+ y0 F/ |# o3 F( x7 @3 k; H
youtuber
) d; v( R9 q. E# H
developer
# Join the two into a CSVpaste -d
,
" Q. v& Z: q+ m. E! v names.txt jobs.txt > person_data.txt
# Output
@) u+ u5 ]% F5 J* U$ G- E! N adam,lawyer
, L% d* B: q% k& N, V john,youtuber
zach,developer
更具 SQL 风格的变体,请参见下文。
/ W$ E0 p+ o7 ?$ m' a- v JOIN(连接并合并文件)
: F4 y% n! ~3 J5 b join 命令是一个简单的、拟正切的 SQL。最大的区别在于 join 将返回所有列,并且只能在一个字段上进行匹配。默认情况下,join 将尝试使用第一列作为匹配键。对于不同的结果,必须使用以下语法:
# Join the first file (-1) by the second column# and the second file (-2) by the firstjoin -t,
-1 2 -2 1
, `% O5 w0 @- ~ first_file.txt second_file.txt
: @8 u& z4 Z% o' U2 n& i; J
标准 join 是内部连接。但是,外部连接也可以通过- a flag 实现。另一个值得注意的现象是- e 标志,如果找到丢失的字段,它可以用来替换值。
# Outer join, replace blanks with NULL in columns 1 and 2# -o which fields to substitute - 0 is key, 1.1 is first column, etc...join -t,
-1 2 -a
1 -a2 -e
NULL -o
0,1.1,2.2 first_file.txt second_file.txt
虽然不是最便于用户使用的命令,但是绝望的时候自有绝望的措施。
/ b8 g r, s6 E( M; |# j. K, j
可选参数:
, r( H9 G1 Z; ^9 \( f1 y( K2 m. g
join -a 打印不能匹配的行
* h: ]2 l. a9 D' @9 {3 r join -e 替换丢失的输入字段
1 h* E4 r7 N, g, [ _6 T join -j 等价于 -1 FIELD -2 FIELD
8 R L/ P; m( n; _8 C) i0 H
GREP(这是一种强大的文本搜索工具)
* M2 z' Q( C# F/ m6 a6 L 全面搜索正则表达式并打印(grep),这很可能是最出名的命令。grep 有很多强大的能力,尤其是在大型代码库中以我们自己的方式寻找字段。在数据科学领域,它充当着其它命令的细化机制。
# Recursively search and list all files in directory containing wordgrep -lr
word
; w& u0 M- m9 |2 B! V; K .
# List number of files containing wordgrep -lr
word . | wc -l
统计包含单词/模式的总行数
grep -c
some_value
) O! S2 e% O% O9 K: b+ D) h1 `2 S8 q filename.csv
# Same thing, but in all files in current directory by file namegrep -c
some_value *
使用\|运算子进行多值操作
grep
"first_value\|second_value" filename.csv
可选参数:
6 b7 Q x0 O6 c5 P
alias grep="grep --color=auto" 使 grep 色彩化
2 w6 S: I( ~$ o) v2 N1 p9 w5 o' V grep -E 使用扩展的正则表达式
[- c* ~" s9 I
grep -w 只匹配全字符
% P* f9 f/ l& L
grep -l 打印出匹配的文件名
5 M$ o) u/ r# i7 Y. w grep -v 反转匹配
% r* }; f% @* ]( v! P% ` SED(流编辑器)
* x0 m8 B9 z2 T# O) O' D
sed 是一个逐行运行的流编辑器。它擅长替换,但是也可以用于所有的重构(refactoring)。
& S/ D9 B/ J1 ]! a: \) J1 Y4 c" s 最基本的 sed 命令包含 s/old/new/g。这指的是搜索旧值,并用新值替换。如果没有/gour 命令,终端将在第一次出现这个值之后停止。
+ D% _8 q2 L2 w f! q* w s1 Z- L 为了快速体验这种能力,让我们来举个例子。若我们有以下文件:
% v/ F- E- I' z1 H balance,name
$
1,
0000 T" F. I8 g! h/ R
,john
$
2,
000,jack
我们想做的第一件事就是去掉美元符号。-i flag 指的是位置,标志指的是零长度的文件扩展名,然后覆盖初始文件。理想情况下,我们可以单独测试其中的每一个,然后输出到新文件。
sed -i
s/\$//g. Q7 @ R( J; O
data.txt
# balance,name# 1,000,john# 2,000,jack+ q9 v; k# ^ ^. q) s! a9 ~' A* \5 L
接下来,我们处理 balance 中的逗号
sed -i
s/\([0-9]\),\([0-9]\)/\1\2/g* C) c0 y( Z. C
data.txt
# balance,name# 1000,john# 2000,jack
/ L/ z6 W3 [( ^ AWK(不仅仅是一个命令)
$ b% ?5 N# r$ ]1 ^7 [( {- M" P8 w) ~: i awk 不仅仅是一个简单的命令:它是一种成熟的语言。在本文所涉及的所有内容中,awk 是最酷的。如果你发现自己对 awk 印象深刻,也可以找更多的资源。
0 ^; L' l1 A2 ^9 A9 T0 Z% ] awk 的用例包括:
' p4 V# y* o4 c; l7 F
文本处理
* |6 t& E5 [" [+ ~+ I, Z
格式化文本报告
# u! q# k3 e1 V6 p/ A 执行数学运算
6 a& H2 c) j% Z5 k( Y' N6 A 执行字符串操作
# R1 }( `4 I( c( j- f
最新版的 awk 可以与 grep 并行使用。
awk
/word/ filename.csv
或者使用一些技巧将 grep 和 cut 结合起来。这里,对于所有我们要查找的 word 行,awk 打印第三列和第四列和分隔符。-F,仅将分隔符改为逗号。
awk -F,
/word/ { print $3 "\t" $4 } filename.csv
awk 内置了许多优秀的变量。例如,NF -字段数,NR -记录数。要在文件中获取第五十三条记录,代码如下:
awk -F,
NR == 53 filename.csv
一个额外的功能是基于一个或多个值进行过滤的能力。下面的第一个示例将打印第一列等于 string 记录的行数和列数。
awk -F,
$1 == "string" { print NR, $0 }
& B3 h7 ~6 h# }4 R9 u filename.csv
# Filter based off of numerical value in second columnawk -F,
$2 == 1000 { print NR, $0 } filename.csv
多数值表达式:
# Print line number and columns where column three greater# than 2005 and column five less than one thousandawk -F,
$3 >= 2005 && $5 <= 1000 { print NR, $0 } filename.csv
对第三列求和:
awk -F,
{ x+=$3 } END { print x } filename.csv
对第一列等于『something』的所有行,对它们的第三列求和。
awk -F,
$1 == "something" { x+=$3 } END { print x } filename.csv
得到文件的维度:
awk -F,
END { print NF, NR }8 m" }8 b% E- v$ d
filename.csv
# Prettier versionawk -F,
BEGIN { print "COLUMNS", "ROWS" }; END { print NF, NR } filename.csv
打印出现两次的行:
awk -F,
++seen[$0] == 2 filename.csv
删除重复的行:
# Consecutive linesawk
a !~ $0; {a=$0}4 q* T9 z3 C( z/ M$ a$ @( @; X# K
]
# Nonconsecutive linesawk
! a[$0]++6 d0 p' @) o( {, F: P4 K6 I
filename.csv
# More efficientawk
" n# l8 \" u' N8 k- s
!($0 in a) {a[$0];print}
% v& V+ o7 I2 O+ w& Z, |1 d
3 a" D$ I2 t9 s2 G" y 使用内置函数 gsub() 替换多值:
awk
{gsub(/scarlet|ruby|puce/, "red"); print}% k8 w6 Q r2 S
这个 awk 命令将合并多个 CSV 文件,忽略文件头,然后将其附加到末尾。
awk
FNR==1 && NR!=1{next;}{print} *.csv > final_file.csv
需要缩减大量文件?awk 可以在 sed 的帮助下处理这个问题。具体而言,这个命令可以基于行数将 一个大文件拆分为多个小文件。
sed
1d;$d filename.csv | awk
NR%NUMBER_OF_LINES==1{x="filename-"++i".csv";}{print > x}# Example: splitting big_data.csv into data_(n).csv every 100,000 linessed
1d;$d big_data.csv | awk
NR%100000==1{x="data_"++i".csv";}{print > x}5 s4 C2 E+ F5 K/ `; t4 O, r( _
结语
- B/ d; |& }1 M9 y3 ^/ J
命令行拥有无穷无尽的能力。本文中介绍的命令足以让您在短时间内从小白变成高手。除了这些内容之外,还有许多用于日常数据处理的程序需要考虑。如果你想深入了解命令行数据科学,可以多找一些详细的资源。
3 O0 T0 V. r' z3 m, W
原文链接:
i- R r( Z. t. Y- G+ L
https://medium.com/@kadek/command-line-tricks-for-data-scientists-c98e0abe5da
3 c! G4 e1 `/ Y# v
本文为机器之心编译,转载请联系本公众号获得授权。
% ?0 N) s: \: d% x* X1 ?( w7 O
✄------------------------------------------------
' Z0 J; Q4 A/ w, P. o! B3 u
加入机器之心(全职记者/实习生):hr@jiqizhixin.com
* A3 ~; C! n! Z 投稿或寻求报道:content@jiqizhixin.com
7 ]: f5 B% x7 u- n0 a
广告&商务合作:bd@jiqizhixin.com
2 |4 e2 C8 I7 W7 q6 f+ @