nsidc数据wget批量下载操作说明

以下资源来自网络，本文仅转载，希望可以帮到有需要的同学们！ # k7 F; Y1 D4 O' U9 e2 S3 e【前提】 最近有同学问如何批量下载海冰密集度的数据，很久前在家园里了解到了wget，今天以这个为例整理一哈…当然，实现的方式还有很多，这里用的是shell来完成。 # O5 J% D% v3 a7 i, R , o/ i8 r3 k# H$ k% ^1 H5 O* U( { A【数据】 A.1 数据名Sea Ice Concentrations from Nimbus-7 SMMR and DMSP SSM/I-SSMISPassive Microwave Data, Version 1 A.2 数据主页 https://nsidc.org/data/nsidc-0051/； 数据说明 www.52ocean.cn 表1 数据介绍 ) V9 v; v  {& @; O$ @ & J5 H! W/ x! V; p B 【需求】 B.1 需要下载该数据集海冰的数据，由于数据存放方式是根据时间建立的路径，需要遍历下载。如/n5eil01u.ecs.nsidc.org/PM/NSIDC-0051.001/2000.04.22 * L) x  R. X& A& V( U 图1 数据存放示意图 C【实现方式】 创建文件$ vim down_sea_ice.sh 根据需求修改代码 在终端中$bashdown_sea_ice.sh % A: ?4 d+ n  H 图2 下载示意图 % y2 j: y: a2 a3 F3 n! B' B6 ?  l 5 |# N8 u, J/ `; h C.1 使用语言：shell。MATLAB、python等也可，后面介绍。 C.2 思路：通过wget进行下载 利用shell，设置起始时间和结束时间，循环生成每个路径后，再利用wget进行下载。 % w" |, E3 N" E) }6 F; @ C.3 代码 # # www.52ocean.cn startdate=2000-01-01 enddate=2010-12-31 sDateTs=`date -j -f "%Y-%m-%d" $startdate "+%s"` eDateTs=`date -j -f "%Y-%m-%d" $enddate "+%s"` dateTs=$sDateTs offset=86400 while [ "$dateTs" -le "$eDateTs" ] do           date=`date -j -f "%s" $dateTs "+%Y-%m-%d"`           year=`date -j -f "%s" $dateTs "+%Y"`           month=`date -j -f "%s" $dateTs "+%m"`           day=`date -j -f "%s" $dateTs "+%d"`           printf "wget --load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies --keep-session-cookies --no-check-certificate --auth-no-challenge=on -r --reject \047index.html*\047 -np -e robots=off www.52ocean.cn\n" $year $month $day $year $month $day          wget --load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies --keep-session-cookies --no-check-certificate --auth-no-challenge=on  -r --reject 'index.htm;*' -c -np -e robots=off -A "*_n.*" "https://n5eil01u.ecs.nsidc.org/PM/NSIDC-0051.001/${year}.${month}.${day}/"           dateTs=$(($dateTs+$offset)) done : M/ h4 J- }# O" u, N  I [color=rgb(255, 0, 0) !important]复制代码 ( C5 {$ T1 C5 ?) x& ]. Z 代码中配置时间，循环时间，生成路径，wget下载【linux】 wget--load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies--keep-session-cookies --no-check-certificate --auth-no-challenge=on  -r --reject 'index.htm;*' -c -np -erobots=off -A "*_n.*" "https://n5eil01u.ecs.nsidc.org/PM/NSIDC-0051.001/${year}.${month}.${day}/"    【windows】 wget--http-user=[USERNAME] --http-password=[PASSWORD] --load-cookies mycookies.txt--save-cookies mycookies.txt --keep-session-cookies--no-check-certificate--auth-no-challenge -r --reject "index.html*" –c-np -e robots=off -A "*_n.*""https://n5eil01u.ecs.nsidc.org/PM/NSIDC-0051.001/${year}.${month}.${day}/"    基本参考冰雪中心给的下载方式(下面有网址)，额外加了 1. -c：断点 2. -A "*_n.*" ：通配符，可下载北极的数据，见图1中的蓝色方框。若只下载bin文件，则改为-A "*_n.bin" 3. www.52ocean.cn${year}.${month}.${day}/路径用变量传入 $ R$ L9 ?: B7 W5 T( Z% B 参考网址：https://nsidc.org/support/faq/what-options-are-available-bulk-downloading-data-https-earthdata-login-enabled 8 G5 d$ m& J6 G4 b7 L6 W 图3 程序示意图 C.4 遇到的问题： 最初使用了绝对路径，发现出现了404错误，排查发现是 文件名是nt_20100105_f17_v1.1_n.bin。之前以为‘f17‘是不变的。 下面是错误记录 ' w0 Z! [' g& t% Z 数据下载：www.52ocean.cn2014.12.19/ 【报错】 下载2000年的数据发现404报错 wget --load-cookies ~/.urs_cookies --save-cookies~/.urs_cookies --keep-session-cookies --no-check-certificate--auth-no-challenge=on -r --reject 'index.html*' -np -e robots=offwww.52ocean.cn --2019-06-11 16:12:15-- www.52ocean.cn Resolving n5eil01u.ecs.nsidc.org... 128.138.97.102 Connecting to n5eil01u.ecs.nsidc.org|128.138.97.102|:443...connected. HTTP request sent, awaiting response... 404 Not Found 2019-06-11 16:12:17 ERROR 404: Not Found. 【原因】 文件名发生变化 变成了f07 不是 n07 nt_20100105_f17_v1.1_n.bin 【解决思路】 1 找到f编号的规则 或者 变通配符 5 B, v; Q: a- ^2 [) c. Z 参考 a 通配符www.52ocean.cn a2 wget 说明，与a.1相似www.52ocean.cn b 数据下载说明：www.52ocean.cn 同时我也记录在了气象家园的网上 www.52ocean.cn

5 M5 ]6 `1 k, E