) Q7 S1 k, M9 ?7 C. y, k6 j
原标题:资源 | 简单快捷的数据处理,数据科学需要注意的命令行
' ` m/ X! j7 O
选自Medium
" K$ x+ ~/ k9 G+ w' j2 ?
作者:Kade Killary
: @4 J( I8 q- k( ?, s
机器之心编译
; _$ b; z' W% L* L5 L 参与:Nurhachu Null、思源
( G/ m' p' \) M# D3 _
对很多数据科学家而言,他们的数据操作经常需要使用 Pandas 或者 Tidyverse。理论上,这个说法没有任何错误,毕竟这就是这些工具存在的原因。然而,对于分隔符转换这样的简单任务而言,这些工具往往是大材小用,我们可以直接使用命令行快速处理。
7 D. Q, [ E+ M 命令行应该是每个开发者都希望掌握的,尤其是数据科学家。熟悉终端的来龙去脉可以毫无疑问地可以让我们变得更加有效率,因此命令行还是计算机技术中的一个很棒的历史课。例如,awk 这个数据驱动的脚本语言是 1977 年在 Brina Kernighan 的帮助下首次出现的,Brina Kernighan 就是 K&R 这本书中的 K。在 50 年后的今天,每年仍然能够出现与 awk 相关的新书。因此,我们可以相对保守地假设:一项针对命令行才能的投资在任何新近的时间内都不会贬值。
. {. @0 [ L7 D * ?! u4 F0 v+ f: \- Q0 [
+ t9 W# f2 C$ }7 ]7 V
打开凤凰新闻,查看更多高清图片
) M6 y9 Y: f5 Z, t, e9 @" f& z
0 [8 m8 J& l; H" U$ v9 R) |
, ], s6 i7 x F 我们将会涉及以下内容
4 k- B, O% m& X! ~ d: @5 x V' \/ z
ICONV
4 R* I+ @1 F9 T6 u HEAD
8 ^4 ]! z7 T e
TR
+ \. ~7 j4 n( m) S0 S
WC
/ Q+ i3 A' D6 X& A) R SPLIT
% M7 O1 ~% g: r5 w
SORT & UNIQ
$ d/ ~2 e$ F: s$ D0 h# g* r7 ] CUT
% s$ f* B) [* q8 J+ D2 ^# {
PASTE
5 V4 C1 {2 { b. F' v4 n
JOIN
K1 T+ l8 V# p) Q, E
GREP
3 |8 {. \" J6 J9 S" p1 j
SED
* H3 A% D) U: r) ]8 e" T- B( p AWK
& x5 b4 I# L) P% u
ICONV(用来转换文件的编码方式)
' _8 ]0 R. O. Y" l
文件编码可能是比较棘手的。现在的多数文件都是 UTF-8 编码,然而有时候我们拿到的文件并不是这个格式的。这可能导致交换编码格式时的一些不靠谱的尝试。这里,iconv 是一个拯救者,它能以一种编码的文本为输入,输出另一种编码的文本。
# Converting -f (from) latin1 (ISO-8859-1)# -t (to) standard UTF_8iconv -f ISO
-8859-1 -t UTF
-8
/ f# s* ^- f' a$ ]" U: T) ?! [' _* u: k < input.txt > output.txt
* b2 |2 @! y `% E$ V* v 可选参数:
$ a9 w2 m7 g4 H( r4 I
iconv -l 列出所有已知的编码字符集合
# F, v5 g/ K1 v) l iconv -c 忽略不能转换的非法字符,静默地丢弃
6 d0 l. P; k$ i, w( r HEAD(用于显示文件的开头内容)
4 n n8 n& \& A8 ~+ ^6 N4 a 如果你是一个频繁使用 Pandas 的用户,那么你会比较熟悉 df.head()。默认情况下 head 命令显示文件的前 10 行内容,当然我们也可以选择不同的参数确定打印的行数或字符数。
# Prints out first 10 lines+ _6 T1 i W e6 s8 r0 l- q
head filename.csv
# Print first 3 lineshead -n
3
8 l# x! i: h1 M Q7 z: S' S filename.csv
. n* ?- ^" A/ _+ z# V
可选参数:
m% b5 s$ a1 p head -n <数字> 打印特定数目的行数
# L& m6 ]) o1 C head -c <字符数> 打印特定数目的字符
6 |( M" e" `/ n7 L TR(对字符进行替换、压缩和删除)
' L0 @) k( M* | c
tr 与转译比较类似,它的强大能力是文件清理的主要工具。例如以下交换文件中的分隔符:
# Converting a tab delimited file into commascat tab_delimited.txt | tr
"\\t" "," comma_delimited.csv
tr 的另一个功能是由我们控制的内置 [:class:] 参数,这些用法包括:
. u W3 r6 f/ ?( s1 g9 V1 K: ^ [:alnum:] 所有的字母和数字
3 C* ]) f7 L- \8 g$ u [:alpha:] 所有的字母
4 I. v2 M% n- J
[:blank:] 所有的水平空格
/ l" m' c+ J0 B5 k1 ]1 s
[:cntrl:] 所有的控制字符(非打印)
" p" g" }' O& G m( w& V
[:digit:] 所有的数字
- R" P8 G4 I! r! r, J
[:graph:] 所有的可打印字符,不包含空格
$ y/ {& J- \- ?% v [:lower:] 所有的小写字母
# } n. ]$ ~* I. W/ ~ [:print:] 所有的可打印字符,包含空格
, z& z$ L8 L( A9 C# U& x9 y* X+ ?
[:punct:] 所有的标点符号
$ |( I d7 \% H' d: I/ x' d
[:space:] 所有的水平或垂直空格
) p, w, h& I1 ]% T" E
[:upper:] 所有的大写字母
. j; ]. n+ G! I [:xdigit:] 所有的十六进制字符
# O+ x6 l$ ^+ O J 我们可以将它们连接在一起组成强大的程序。下面是一个基本的字数统计程序,我们可以用它来检查 README 文档。
cat README.md | tr
"[:punct:][:space:]" "\n" | tr
"[:upper:]" "[:lower:]"
0 E" r7 @" d3 v0 e, [ | grep . | sort | uniq -c | sort -nr
# b% o, L7 H+ F% X& b
使用基本正则表达式的另一个例子是:
# Converting all upper case letters to lower casecat filename.csv | tr
[A-Z] [a-z]
6 M; z0 ` f- | 可选参数:
" L ]3 }# S* P+ p) H tr -d 删除字符
& G2 ^3 I, w5 I8 l tr -s 压缩字符(将连续重复的字符用一个字符表示)
$ Z }( G1 s8 t8 U( y6 l' M" M
\b 空格
) O/ k8 L8 F/ W: w- k3 F \f 换页符
( O7 E3 B5 \/ @ \v 垂直制表符
9 h" v" W/ D% Z8 g2 R" h \NNN 八进制字符 NNN
) m" q% {: s# B# S/ }; o& h8 M WC(用来计数的命令)
( W( C6 [: z: ]# v* R F
它的值主要来自于 -l flag,它会提供文档的行数。
# Will return number of lines in CSVwc -l gigantic_comma.csv
这个工具可以方便地确认各种命令的输出。所以,如果我们转换了文件中的分隔符,那么运行 wc -l 就可以查看总行数是不是相同,不同就是出了问题。
: J5 b" J3 O9 V
可选参数:
& Q8 O7 P# W; s, F- ?" f% e4 r wc -c 打印 Bytes 数目
+ A& A1 P$ I/ C: w& K F2 ^
wc -m 打印出字符数
7 S0 G( H7 |! M' b6 Q _! ]1 F
wc -L 打印出最长行的字符数
4 Z/ ^6 F$ v* B% t5 M wc -w 打印出单词数目
/ h2 [4 o' c1 E! T: b
SPLIT(把一个大文件分割成小文件的命令)
5 ~& K( C) @ b$ h 文件大小可以使用这个命令大幅度改变。根据任务的不同,分割文件可能会有所帮助,所以就有了 split 命令。split 的基本语法如下:
# We will split our CSV into new_filename every 500 linessplit -l
500, K" m7 z& [* p5 }. u
filename.csv new_filename_
# filename.csv# ls output# new_filename_aaa# new_filename_aab# new_filename_aac
4 r" s$ E+ W* z+ W' G# w+ R# C8 ~& G3 m 两个怪异的地方是命名约定和文件的扩展名。后缀约定可以通过-d 标志来约定为数字。为了添加文件扩展名,您需要运行下面的 find 命令。它会改变当前路径下的所有文件名,给每个文件后面扩展.csv,所以,谨慎使用。
find . -type f -
exec mv
{} {}
7 V: W3 a" u5 ?! m% Y# J" W .csv \;
# ls output# filename.csv.csv# new_filename_aaa.csv# new_filename_aab.csv# new_filename_aac.csv8 _( u# e) T8 U0 K# W
可选参数:
2 K6 G8 X6 y; w/ F2 Z5 ]% ]+ R split -b 通过确定的字节大小分割
& X6 B l. Y& ? split -a 生成长度为 N 的后缀
6 l' R. r5 X) N1 `' v; D5 l2 L3 ^
split -x 使用十六进制后缀分割
4 r* M" J% c' X4 u+ m) U- Y SORT & UNIQ(sort:文件排序;uniq:报告或忽略文件中的重复行,与 sort 结合使用)
# |7 [8 h+ \1 ?% W5 \ 这两个命令提供了唯一的单词计数,这是因为 uniq 仅仅在重复的相邻行上运行。因此,这就是在输出之前进行排序的原因。一个有趣的注意事项是:sort -u 会与 sort file.txt | uniq 有着相同的结果。
U$ H @# e& H 对于数据科学家而言,排序具是一种潜在有用的能力:即基于特定列对整个 CSV 文件进行排序的能力。
# Sorting a CSV file by the second column alphabetically8 ~) B: Q0 H D
sort -t, -k2 filename.csv
# Numerically8 ]. r/ y' g5 o5 ]
sort -t, -k2n filename.csv
# Reverse ordersort -t, -k2nr filename.csv
这里的-t 选项将逗号作为我们的分隔符,通常会采用空格或者制表符。此外,-k flag 用于指定关键词。
' v. f3 V* u1 Z+ \, L, T! \! d0 g 可选参数:
! S) `: |( |# U$ |2 O% R) c
sort -f 忽略大小写
1 X+ k% U: Z# }9 R2 B
sort -r 以相反的顺序排序
, W0 s$ S0 o4 ~- \ u- M sort -R 乱序
8 ^6 B3 d6 N- q+ P7 v. q uniq -c 统计出现的次数
5 K5 T5 Q" q$ E+ F8 k, Y
uniq -d 仅仅打印重复行
+ B$ S2 K2 ~! U: `$ Z& Q
CUT(cut 命令用来显示行中的指定部分,删除文件中指定字段。)
( t$ J3 O" D& ?7 I0 b& u5 d
cut 用于删除列。举例来说,如果我们要删除第一列和第三列,可以使用 cut:
cut -d, -f
1,
3 filename.csv
选择除了第一列之外的每一列:
cut -d, -f
2- filename.csv
与其他命令结合使用的时候,cut 作为一个过滤器:
# Print first 10 lines of column 1 and 3, where "some_string_value" is presenthead filename.csv | grep
"some_string_value" | cut -d, -f
1,
35 Q; q; x5 _+ @+ Y( S+ L
找到第二列中某个特定值出现的次数:
cat filename.csv | cut -d, -f
2
! J* p; T& t1 Q+ O0 t" c9 i1 M | sort | uniq | wc -l
# Count occurences of unique values, limiting to first 10 resultscat filename.csv | cut -d, -f
2 | sort | uniq -c | head
PASTE(用于将多个文件按照列队列进行合并)
6 m" B7 y$ X* p# A1 m0 S
paste 是一个简洁命令,具有一个有趣的功能。如果您有两个需要合并的文件,并且它们已经排序,paste 能够实现这些功能。
# names.txt
- S1 d& n6 D6 s0 {7 a) b. m) H adam
9 C& ]5 S; t5 Y/ [# u john
. l Y: Z9 C5 y! Z2 Z
zach
# jobs.txt' Z7 \9 g8 ]$ T0 N8 O; e- X
lawyer
3 `0 I9 H, I. G2 i) M& ]4 p$ L
youtuber
) _, [( ~4 V6 `8 `' \ s \
developer
# Join the two into a CSVpaste -d
,) p. x+ Z* S. F2 z# m
names.txt jobs.txt > person_data.txt
# Output
- {5 l0 c" }- {) F adam,lawyer
/ h; j: X5 @' ~- _4 D, J john,youtuber
zach,developer
更具 SQL 风格的变体,请参见下文。
) H& }& `3 ~3 W R0 d `( ] JOIN(连接并合并文件)
, `: J$ M0 @ G% _2 k
join 命令是一个简单的、拟正切的 SQL。最大的区别在于 join 将返回所有列,并且只能在一个字段上进行匹配。默认情况下,join 将尝试使用第一列作为匹配键。对于不同的结果,必须使用以下语法:
# Join the first file (-1) by the second column# and the second file (-2) by the firstjoin -t,
-1 2 -2 1
, v8 k$ x: r8 ]7 t% j6 d" Z0 O& ] first_file.txt second_file.txt
. q" k+ Z9 f% U! b; z( ] 标准 join 是内部连接。但是,外部连接也可以通过- a flag 实现。另一个值得注意的现象是- e 标志,如果找到丢失的字段,它可以用来替换值。
# Outer join, replace blanks with NULL in columns 1 and 2# -o which fields to substitute - 0 is key, 1.1 is first column, etc...join -t,
-1 2 -a
1 -a2 -e
NULL -o
0,1.1,2.2 first_file.txt second_file.txt
虽然不是最便于用户使用的命令,但是绝望的时候自有绝望的措施。
) }0 D3 r6 H4 I- g! C9 G 可选参数:
8 t0 l- j2 n4 w& `- `) Q: G join -a 打印不能匹配的行
& v2 a$ z- z8 S/ ~* u join -e 替换丢失的输入字段
' f+ v7 h0 {1 e6 K. M0 ? join -j 等价于 -1 FIELD -2 FIELD
/ [) z j7 \& B0 r" o GREP(这是一种强大的文本搜索工具)
t' u% p5 a4 S/ [) V9 x& C3 C
全面搜索正则表达式并打印(grep),这很可能是最出名的命令。grep 有很多强大的能力,尤其是在大型代码库中以我们自己的方式寻找字段。在数据科学领域,它充当着其它命令的细化机制。
# Recursively search and list all files in directory containing wordgrep -lr
word* C, c4 ~ L( A/ R
.
# List number of files containing wordgrep -lr
word . | wc -l
统计包含单词/模式的总行数
grep -c
some_value, I& z9 E h6 E! R/ n( u. e
filename.csv
# Same thing, but in all files in current directory by file namegrep -c
some_value *
使用\|运算子进行多值操作
grep
"first_value\|second_value" filename.csv
可选参数:
7 `% M: x+ g" V# {- w) I$ j# X5 W
alias grep="grep --color=auto" 使 grep 色彩化
" D, x. o& c9 g, c! _" \" K grep -E 使用扩展的正则表达式
& @! c O; \! K+ t- U$ ~8 G, p
grep -w 只匹配全字符
% p( L- ~3 K( @' D$ L& x grep -l 打印出匹配的文件名
* I' Z- g1 H. ?3 j' X. Q3 ~
grep -v 反转匹配
" A* \3 t- p0 I5 v SED(流编辑器)
5 b# d& C- Y6 M* o0 d1 n sed 是一个逐行运行的流编辑器。它擅长替换,但是也可以用于所有的重构(refactoring)。
/ x \" A5 b7 w
最基本的 sed 命令包含 s/old/new/g。这指的是搜索旧值,并用新值替换。如果没有/gour 命令,终端将在第一次出现这个值之后停止。
9 f; d* f" O! ~$ W; y 为了快速体验这种能力,让我们来举个例子。若我们有以下文件:
3 D& }" K: s$ |7 [/ r, a balance,name
$
1,
000, A; j& E0 D& A6 r7 f0 W& p5 Y% k
,john
$
2,
000,jack
我们想做的第一件事就是去掉美元符号。-i flag 指的是位置,标志指的是零长度的文件扩展名,然后覆盖初始文件。理想情况下,我们可以单独测试其中的每一个,然后输出到新文件。
sed -i
s/\$//g) i+ c2 r4 J( A; \9 T+ A
data.txt
# balance,name# 1,000,john# 2,000,jack) i8 M' a; v. H( a3 w4 C
接下来,我们处理 balance 中的逗号
sed -i
s/\([0-9]\),\([0-9]\)/\1\2/g5 W p5 n, ?0 }+ ^( u& K$ I
data.txt
# balance,name# 1000,john# 2000,jack- `4 F6 [* C) |* y) c9 Z
AWK(不仅仅是一个命令)
! F5 p8 r5 R' f+ z: C' z) W
awk 不仅仅是一个简单的命令:它是一种成熟的语言。在本文所涉及的所有内容中,awk 是最酷的。如果你发现自己对 awk 印象深刻,也可以找更多的资源。
' i" B' a) d# X" M; C* h4 e
awk 的用例包括:
% S* ^( ` ~% `5 n9 q8 z
文本处理
3 O6 x' p; e) E
格式化文本报告
- c$ G0 {6 x; V; w+ f: l& ^ 执行数学运算
2 ~ O4 p: V( i. r+ P$ t7 _, \0 J 执行字符串操作
. _( @# Q9 ~( }) }+ J5 j
最新版的 awk 可以与 grep 并行使用。
awk
/word/ filename.csv
或者使用一些技巧将 grep 和 cut 结合起来。这里,对于所有我们要查找的 word 行,awk 打印第三列和第四列和分隔符。-F,仅将分隔符改为逗号。
awk -F,
/word/ { print $3 "\t" $4 } filename.csv
awk 内置了许多优秀的变量。例如,NF -字段数,NR -记录数。要在文件中获取第五十三条记录,代码如下:
awk -F,
NR == 53 filename.csv
一个额外的功能是基于一个或多个值进行过滤的能力。下面的第一个示例将打印第一列等于 string 记录的行数和列数。
awk -F,
$1 == "string" { print NR, $0 }
' N- P! m" n8 q9 W" n0 X3 { j& q3 { filename.csv
# Filter based off of numerical value in second columnawk -F,
$2 == 1000 { print NR, $0 } filename.csv
多数值表达式:
# Print line number and columns where column three greater# than 2005 and column five less than one thousandawk -F,
$3 >= 2005 && $5 <= 1000 { print NR, $0 } filename.csv
对第三列求和:
awk -F,
{ x+=$3 } END { print x } filename.csv
对第一列等于『something』的所有行,对它们的第三列求和。
awk -F,
$1 == "something" { x+=$3 } END { print x } filename.csv
得到文件的维度:
awk -F,
END { print NF, NR }
$ s: ]/ i+ \! s) A6 P/ t filename.csv
# Prettier versionawk -F,
BEGIN { print "COLUMNS", "ROWS" }; END { print NF, NR } filename.csv
打印出现两次的行:
awk -F,
++seen[$0] == 2 filename.csv
删除重复的行:
# Consecutive linesawk
a !~ $0; {a=$0}+ X' a, J4 g, A2 }: R5 M( j7 ~1 A
]
# Nonconsecutive linesawk
! a[$0]++
; {1 W- A. V& \: p4 j c" O filename.csv
# More efficientawk
/ u" I2 Y: I/ k! ]: |4 A- S !($0 in a) {a[$0];print}
2 t' c! Q; e4 \5 O5 E
8 w- z/ y& k6 e. p+ @- h 使用内置函数 gsub() 替换多值:
awk
{gsub(/scarlet|ruby|puce/, "red"); print}0 g$ N& B4 K1 z3 _% P
这个 awk 命令将合并多个 CSV 文件,忽略文件头,然后将其附加到末尾。
awk
FNR==1 && NR!=1{next;}{print} *.csv > final_file.csv
需要缩减大量文件?awk 可以在 sed 的帮助下处理这个问题。具体而言,这个命令可以基于行数将 一个大文件拆分为多个小文件。
sed
1d;$d filename.csv | awk
NR%NUMBER_OF_LINES==1{x="filename-"++i".csv";}{print > x}# Example: splitting big_data.csv into data_(n).csv every 100,000 linessed
1d;$d big_data.csv | awk
NR%100000==1{x="data_"++i".csv";}{print > x}
/ M# K% z# H( a3 i' ~ 结语
6 R6 }) H* w) i! Q2 C, h# _9 I# T 命令行拥有无穷无尽的能力。本文中介绍的命令足以让您在短时间内从小白变成高手。除了这些内容之外,还有许多用于日常数据处理的程序需要考虑。如果你想深入了解命令行数据科学,可以多找一些详细的资源。
% y7 _1 d6 B5 ^6 X 原文链接:
3 ^& O6 w- T/ N- U https://medium.com/@kadek/command-line-tricks-for-data-scientists-c98e0abe5da
& M# Y2 i- X) g' K
本文为机器之心编译,转载请联系本公众号获得授权。
1 H% o5 s0 ^, y# u' ~8 n
✄------------------------------------------------
6 Z# X* N7 W7 I" S7 _ r6 v q 加入机器之心(全职记者/实习生):hr@jiqizhixin.com
- y+ _0 r! J' R- Z0 R3 k# T
投稿或寻求报道:content@jiqizhixin.com
, j% q7 V; i9 P. q# E& j
广告&商务合作:bd@jiqizhixin.com
8 R" W, M9 [: \) n& t9 F