bit:位byte:字节1 byte= 8 bit int 类型为 4 byte,共32位bit,unsigned int也是2^32 byte = 4G 1G= 2^30 =10.7亿 海量数据处理概述: 1 _5 y/ H) x7 }& G g; U
所谓海量数据处理,就是指数据量太大,无法在较短时间内迅速解决,或者无法一次性装入内存。而解决方案就是:针对时间,可以采用巧妙的算法搭配合适的数据结构,如 Bloom filter/Hashmap/bit-map/堆/数据库/倒排索引/trie树;针对空间,大而化小,分而治之(hash映射),把规模大化为规模小的,各个击破。所以,海量数据处理的基本方法总结起来分为以下几种: 分而治之/hash映射 + hash统计 + 堆/快速/归并排序;Trie树/Bloom filter/Bitmap数据库/倒排索引;双层桶划分;外排序;分布式处理之Hadoop/Mapreduce。一、分而治之/hash映射 + hashmap统计 + 快速/归并/堆排序 6 e9 L5 _& M% ^2 i! r
这种方法是典型的“分而治之”的策略,是解决空间限制最常用的方法,即海量数据不能一次性读入内存,而我们需要对海量数据进行的计数、排序等操作。基本思路如下图所示:先借助哈希算法,计算每一条数据的 hash 值,按照 hash 值将海量数据分布存储到多个桶中。根据 hash 函数的唯一性,相同的数据一定在同一个桶中。如此,我们再依次处理这些小文件,最后做合并运算即可。 5 n2 S0 l( v( U# G4 o. o. Y
8 }+ [) s" O8 i# P 问题1:海量日志数据,统计出某日访问百度次数最多的那个IP ( l5 `- Y% F8 {5 H- V
解决方式:IP地址最多有 2^32 = 4G 种取值情况,所以不能完全加载到内存中进行处理,采用 hash分解+ 分而治之 + 归并 方式: 8 H' W$ u8 p+ G- c1 _ r; [5 Q
(1)按照 IP 地址的 Hash(IP)%1024 值,把海量IP日志分别存储到1024个小文件中。这样,每个小文件最多包含4MB个IP地址; . C$ F2 d0 Q" p* u1 Q
(2)对于每一个小文件,构建一个IP为key,出现次数为value的Hash map,同时记录当前出现次数最多的那个IP地址
! ?8 f/ Q1 C$ ^9 R% ^ (3)然后再在这1024组最大的IP中,找出那个频率最大的IP . J6 h: W: m5 P# s, k* r$ A
问题2:有一个1G大小的一个文件,里面每一行是一个词,词的大小不超过16字节,内存限制大小是1M。返回频数最高的100个词。
+ x* o3 t! f+ n# k+ ?8 y6 U) A 解决思想: hash分解+ 分而治之 + 归并
M7 p* L; |" a- L (1)顺序读文件中,对于每个词x,按照 hash(x)/(1024*4) 存到4096个小文件中。这样每个文件大概是250k左右。如果其中的有的文件超过了1M大小,还可以按照hash继续往下分,直到分解得到的小文件的大小都不超过1M。 & }" }4 r; N3 [+ k+ @( q" k
(2)对每个小文件,可以采用 trie树/hashmap 统计每个文件中出现的词以及相应的频率,并使用 100个节点的小顶堆取出出现频率最大的100个词,并把100个词及相应的频率存入文件。这样又得到了4096个文件。 + N; H7 e3 w4 [0 K" j( y
(3)下一步就是把这4096个文件进行归并的过程了 : {5 J# d2 R9 I
问题3:有a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,让你找出a、b文件共同的url?
9 M# @* ]% |" c) {; }! A 解决方案1:如果内存中想要存入所有的 url,共需要 50亿 * 64= 320G大小空间,所以采用 hash 分解+ 分而治之 + 归并 的方式:
8 e% ?7 W& q4 U* v/ p |# t9 S0 S (1)遍历文件a,对每个 url 根据某种hash规则,求取hash(url)/1024,然后根据所取得的值将 url 分别存储到1024个小文件(a0~a1023)中。这样每个小文件的大约为300M。如果hash结果很集中使得某个文件ai过大,可以在对ai进行二级hash(ai0~ai1024),这样 url 就被hash到 1024 个不同级别的文件中。
: R+ ]! ~( I+ v4 o- P (2)分别比较文件,a0 VS b0,…… ,a1023 VS b1023,求每对小文件中相同的url时:把其中一个小文件的 url 存储到 hashmap 中,然后遍历另一个小文件的每个url,看其是否在刚才构建的 hashmap 中,如果是,那么就是共同的url,存到文件中。
- D* Z4 Z2 Z# O2 h (3)把1024个文件中的相同 url 合并起来
1 r- {4 Y+ X- F" a- c# o& X 解决方案2:Bloom filter ( e2 S5 _) v @8 c
如果允许有一定的错误率,可以使用 Bloom filter,4G内存大概可以表示 340 亿bit,n = 50亿,如果按照出错率0.01算需要的大概是650亿个bit,现在可用的是340亿,相差并不多,这样可能会使出错率上升些,将其中一个文件中的 url 使用 Bloom filter 映射为这340亿bit,然后挨个读取另外一个文件的url,检查是否与Bloom filter,如果是,那么该url应该是共同的url(注意会有一定的错误率) & e; u% b: o( u$ q+ m' A' Z
问题4:有10个文件,每个文件1G,每个文件的每一行存放的都是用户的 query,每个文件的query都可能重复。要求你按照query的频度排序。
# S3 R! d- M3 O6 J8 p# s8 q. j 解决方案1:hash分解+ 分而治之 +归并 : r; h. e9 ^* ^( \
(1)顺序读取10个文件 a0~a9,按照 hash(query)%10 的结果将 query 写入到另外10个文件(记为 b0~b9)中,这样新生成的文件每个的大小大约也1G . U# \( J" {4 |4 u
(2)找一台内存2G左右的机器,依次使用 hashmap(query, query_count) 来统计每个 query 出现的次数。利用 快速/堆/归并排序 按照出现次数进行排序。将排序好的query和对应的query_cout输出到文件中。这样得到了10个排好序的文件c0~c9。
+ c. R& A0 S" e3 U (3)对这10个文件 c0~c9 进行归并排序(内排序与外排序相结合)。每次取 c0~c9 文件的 m 个数据放到内存中,进行 10m 个数据的归并,即使把归并好的数据存到 d结果文件中。如果 ci 对应的m个数据全归并完了,再从 ci 余下的数据中取m个数据重新加载到内存中。直到所有ci文件的所有数据全部归并完成。 s* B) q0 _, {$ W
解决方案2:Trie树
; A, ]+ a/ L' R/ v6 H; A2 ? 如果query的总量是有限的,只是重复的次数比较多而已,可能对于所有的query,一次性就可以加入到内存了。在这种情况下,可以采用 trie树/hashmap 等直接来统计每个query出现的次数,然后按出现次数做快速/堆/归并排序就可以了。
j7 N' T$ o* K, i2 `" ]9 c8 |& X# j 问题5:海量数据分布在100台电脑中,请高效统计出这批数据的TOP10
( ~% a" V% T) r* x/ x. v! r2 ]% o 解决思想: 分而治之 + 归并
! t( I: t2 o- @4 ]5 d (1)在每台电脑上求出TOP10,采用包含10个元素的堆完成(TOP10小,用最大堆,TOP10大,用最小堆) : ^, u9 w; @% ?) N3 V/ q
(2)求出每台电脑上的TOP10后,把这100台电脑上的 TOP10 合并之后,共1000个数据,在采用堆排序或者快排方式 求出 top10
1 M: P) X |! h# O (注意:该题的 TOP10 是取最大值或最小值,如果取频率TOP10,就应该先hash分解,将相同的数据移动到同一台电脑中,再使用hashmap分别统计出现的频率)
* w$ g0 ?, K. _ I) W8 G 问题6:在 2.5 亿个整数中找出不重复的整数,内存不足以容纳这2.5亿个整数
, Q: M+ \% a* A& i1 a+ g! E 解决方案1:hash 分解+ 分而治之 + 归并
! i. v3 c* I4 [+ e$ z (1)2.5亿个 int 类型 hash 到1024个小文件中 a0~a1023,如果某个小文件大小还大于内存,进行多级hash
+ x2 k3 r( F% K# u, y r5 ]4 n: z (2)将每个小文件读进内存,找出只出现一次的数据,输出到b0~b1023 $ `, x* E% `: \1 W5 I
(3)最后数据合并即可
! ~: j/ L: h | 解决方案2 : 2-Bitmap + q# [8 c' T0 z/ {& O( R
如果内存够1GB的话,采用 2-Bitmap 进行统计,共需内存 2^32 * 2bit = 1GB内存。2-bitmap 中,每个数分配 2bit(00表示不存在,01表示出现一次,10表示多次,11无意义),然后扫描这 2.5 亿个整数,查看Bitmap中相对应位,如果是00,则将其置为01;如果是01,将其置为10;如果是10,则保持不变。所描完成后,查看bitmap,把对应位是01的整数输出即可。(如果是找出重复的数据,可以用1-bitmap。第一次bit位由0变1,第二次查询到相应bit位为1说明是重复数据,输出即可)
8 M$ c1 j" j- X& H, u+ w 二、Trie树+红黑树+hashmap
3 v: I7 G/ o$ p9 e+ V% x Trie树、红黑树 和 hashmap 可以认为是第一部分中分而治之算法的具体实现方法之一。 6 B- @/ I, V8 d' t: L6 ~: e B; _
其中,Trie树适合处理海量字符串数据,尤其是大量的字符串数据中存在前缀时。Trie树在字典的存储,字符串的查找,求取海量字符串的公共前缀,以及字符串统计等方面发挥着重要的作用。
) C" p/ [" [: b 用于存储时,Trie树因为不重复存储公共前缀,节省了大量的存储空间;
2 }) {: k" e7 r! h! ~2 Y5 \( j, h 用于以字符串的查找时,Trie树依靠其特殊的性质,实现了在任意数据量的字符串集合中都能以O(len)的时间复杂度完成查找(len为要检索的字符串长度);
5 e4 s% @* F' U; h# c# Q0 K 在字符串统计中,Trie树能够快速记录每个字符串出现的次数
. s4 ~5 ?2 B# ]3 ^, r7 ^/ m9 Y 问题1:上千万或上亿数据(有重复),统计其中出现次数最多的前N个数据。 . l5 `9 X7 g5 a' L2 |
解决方案: hashmap/红黑树 + 堆排序 ' N2 y' q2 J1 w* M: V$ s+ d& Q# ]
(1)如果是上千万或上亿的 int 数据,现在的机器4G内存能存下。所以考虑采用 hashmap/搜索二叉树/红黑树 等来进行统计重复次数
* U5 g$ K) l# |" { (2)然后使用包含 N 个元素的小顶堆找出频率最大的N个数据 1 n: Q7 X0 a1 f& `4 M
问题2:一个文本文件,大约有一万行,每行一个词,要求统计出其中最频繁出现的前10个词,并给出时间复杂度 - j" [6 M* w* H e, `- _, I: j
解决思路: trie树 + 堆排序
7 N. v- [; s2 o( O% i' X 用 trie树 统计每个词出现的次数,时间复杂度是O(n*len)(len表示单词的平均长度)。 ; n) w [4 Y7 `: a7 D
然后使用小顶堆找出出现最频繁的前10个词,时间复杂度是O(n*lg10)。 ( L! {. \/ x; b/ l
总的时间复杂度,是O(n*le)与O(n*lg10)中较大的那一个。
; B% @* u& B: P/ b' ] 问题3:有一千万个字符串记录(这些字符串的重复率比较高,虽然总数是1千万,但是如果去除重复和,不超过3百万个),每个查询串的长度为1-255字节。请你统计最热门的10个查询串(重复度越高,说明越热门),要求使用的内存不能超过1G。 % N2 G5 l# @# o
解决方案: * Z7 J6 i) m- u4 l: R
内存不能超过 1G,每条记录是 255byte,1000W 条记录需要要占据2.375G内存,这个条件就不满足要求了,但是去重后只有 300W 条记录,最多占用0.75G内存,因此可以将它们都存进内存中去。使用 trie树(或者使用hashmap),关键字域存该查询串出现的次数。最后用10个元素的最小堆来对出现频率进行排序。总的时间复杂度,是O(n*le)与O(n*lg10)中较大的那一个。
& Z0 R1 w3 i3 Q. r- \1 i* ] 问题4:1000万字符串,其中有些是重复的,需要把重复的全部去掉,保留没有重复的字符串。 % U6 u- n b' } I J' n! X
解决方案:trie树
6 D7 I* `2 ~ I5 n0 I M 三、BitMap 与 Bloom Filter: 0 v# g t& v) a; h1 b. ?0 T2 _
1、BitMap 就是通过 bit 位为 1 或 0 来标识某个状态存不存在。可用于数据的快速查找,判重,删除,一般来说适合的处理数据范围小于 8bit *2^32。否则内存超过4G,内存资源消耗有点多。
+ I$ u6 w9 {4 ~$ S' C/ _ 2、Bloom Filter 主要是用于判定目标数据是否存在于一个海量数据集 以及 集合求交集。以存在性判定为例,Bloom Filter 通过对目标数据的映射,能够以 O(k) 的时间复杂度判定目标数据的存在性,其中k为使用的hash函数个数。这样就能大大缩减遍历查找所需的时间。
, Z7 b; g% e- I2 r* v 问题1:已知某个文件内包含一些电话号码,每个号码为8位数字,统计不同号码的个数。
2 ]# D+ d& u" n# F) R" v% x6 V 解决思路:
; @/ w6 w0 A5 q 8位最多99 999 999,需要 100M个bit 位,不到12M的内存空间。我们把 0-99 999 999的每个数字映射到一个Bit位上,这样,就用了小小的12M左右的内存表示了所有的8位数的电话 * @) i, }5 b! z# ?
问题2:2.5亿个整数中找出不重复的整数的个数,内存空间不足以容纳这2.5亿个整数。 # g$ v- |( r' I1 r4 l5 T, ~
解决方案:使用 2-bitmap,详情见上文
7 }6 O1 t4 a* Y. U 问题3:给40亿个不重复的 unsigned int 的整数,没排过序的,然后再给一个数,如何快速判断这个数是否在那40亿个数当中 9 b" [+ @8 Y9 O9 I
解决方案:使用 Bitmap,申请 512M 的内存,一个bit位代表一个 unsigned int 值。读入40亿个数,设置相应的bit位,读入要查询的数,查看相应bit位是否为1,为1表示存在,为0表示不存在。 " a7 h3 z6 t, @; j" R
问题4:现有两个各有20亿行的文件,每一行都只有一个数字,求这两个文件的交集。
+ @7 r' l5 g. w& z- V) W( G$ |6 @ 解决方案:采用 bitmap 进行问题解决,因为 int 的最大数是 2^32 = 4G,用一个二进制的下标来表示一个 int 值,大概需要4G个bit位,即约4G/8 = 512M的内存,就可以解决问题了。
4 i; I& v# g I. N; E( r" ^, s# ] ① 首先遍历文件,将每个文件按照数字的正数,负数标记到2个 bitmap 上,为:正数 bitmapA_positive,负数 bitmapA_negative / T- S$ Z, L$ S* p; Y
② 遍历另为一个文件,生成正数:bitmapB_positive,bitmapB_negative
+ s/ ?# E+ n1 e o2 ? Y9 J ③ 取 bitmapA_positive and bitmapB_positive 得到2个文件的正数的交集,同理得到负数的交集。 5 [2 L6 I% E; x0 g" _: M
④ 合并,问题解决
. u3 y: t6 J, I! h. f 这里一次只能解决全正数,或全负数,所以要分两次
8 Z8 Q& h* j6 u6 A- s0 S4 a 问题5:与上面的问题4类似,只不过现在不是A和B两个大文件,而是A, B, C, D….多个大文件,求集合的交集 ' R+ P1 h5 I9 r9 Q
解决方案: % e( J! V% `" T5 H7 q# U3 S7 `% n
(1)依次遍历每个大文件中的每条数据,遍历每条数据时,都将它插入 Bloom Filter; , D3 N3 l3 [. U8 ~9 E9 Z& l# ]
(2)如果已经存在,则在另外的集合(记为S)中记录下来;
- \( i- l( C# g. q" G' h* F+ R (3)如果不存在,则插入Bloom Filter;
/ r4 b$ t: x% T, e8 v (4)最后,得到的S即为所有这些大文件中元素的交集
+ L* p! j7 T4 e1 |) A; n 四、多层划分: 8 R1 a, W G4 d* N5 O* p
多层划分本质上还是分而治之的思想,重在“分”的技巧上!因为元素范围很大,需要通过多次划分,逐步确定范围,然后最后在一个可以接受的范围内进行。适用用于:第k大,中位数,不重复或重复的数字 0 q6 S2 R- F$ z
问题1:求取海量整数的中位数 K, T% \3 w- B2 C: K- r- f& I
解决方案: 5 Q+ P+ A; D$ ], ^9 k
依次遍历整数,按照其大小将他们分拣到n个桶中。如果有的桶数据量很小,有的则数据量很大,大到内存放不下了;对于那些太大的桶,再分割成更小的桶;
' t* j! B: I$ O& v7 K/ y0 ^ 之后根据桶数量的统计结果就可以判断中位数落到哪个桶中,如果该桶中还有子桶,就判断在其哪个子桶中,直到最后找出目标。 9 u) I( o' ?0 J
问题2:一共有N个机器,每个机器上有N个数,每个机器最多存 N 个数,如何找到 N^2 个数中的中数?
: ?8 q, _0 G" m: n+ q# ] 解决方案1: hash分解 + 排序
8 Y! v- @5 G+ j& g4 o/ ^) `% `4 ` 按照升序顺序把这些数字,hash划分为N个范围段。假设数据范围是2^32 的unsigned int 类型。理论上第一台机器应该存的范围为0~(2^32)/N,第i台机器存的范围是(2^32)*(i-1)/N~(2^32)*i/N。hash过程可以扫描每个机器上的N个数,把属于第一个区段的数放到第一个机器上,属于第二个区段的数放到第二个机器上,…,属于第N个区段的数放到第N个机器上。注意这个过程每个机器上存储的数应该是O(N)的。
3 [6 p5 S3 D: g7 T% V" h 然后我们依次统计每个机器上数的个数,依次累加,直到找到第k个机器,在该机器上累加的数大于或等于(N^2)/2,而在第k-1个机器上的累加数小于(N^2)/2,并把这个数记为x。那么我们要找的中位数在第k个机器中,排在第(N^2)/2-x位。然后我们对第k个机器的数排序,并找出第(N^2)/2-x个数,即为所求的中位数的复杂度是O(N^2)的。
6 x) [! T& n) d8 D 解决方案2: 分而治之 + 归并 S6 T4 Q7 f8 n* I; V1 v
先对每台机器上的数进行排序。排好序后,我们采用归并排序的思想,将这N个机器上的数归并起来得到最终的排序。找到第(N^2)/2个便是所求。复杂度是O(N^2 * lgN^2)的
9 I/ U% U1 a7 k, J, f
4 T% }$ r2 `$ e5 N" W; _' ?1 d- m6 R/ A+ R: G
, _! k J( b; P g0 O+ \ N, Z- I7 ^" k i/ X
|