邪修下载FTP数据方法

本文主要记录一个邪修下载青藏高原科学数据中心的FTP数据(加速版本)的方法。

1 青藏高原科学数据中心简介

国家青藏高原科学数据中心是我国唯一针对青藏高原及周边地区的数据中心,负责青藏高原及周边地区各类科学数据的收集/汇交、存储、管理、集成、挖掘、分析、共享和应用推广,是该区域科学数据门类最全、最权威的数据中心——引自官网。

官网

是目前国内非常好用的贡献数据平台,同时尽管中心名字冠以青藏高原,但实际上中心内的数据不仅局限于青藏高原,有大量的全国全球的高质量数据。数据分发方式也很友好。通常注册账户通过以后,可以快速在线下载或者通过FTP分发数据。

2 问题

正如上文简介提到,数据质量较高,用户活跃,可能导致FTP分发速度十分堪忧,我最近用FTP链接通常都是几十kb/s的下载速度(且不稳定)。针对需要下载超过10个G数据的情况下,这个速度大概是要等上一周了。因此我也在网上搜索了下相关的解决方案,然后看到了一个邪修加速方案(参考链接会附在博客最后)。

3 解决方案

其实核心方案就是利用FTP下载链接,利用IDM之类的多线程下载器加速下载速度。目前实测下来,多数情况下都能超过500kb/s。偶尔峰值可以突破1M(半夜速度较快),但是这个下载器某种程度有点像爬虫的频繁点击,小心会被当成攻击服务器封禁IP,但是目前测试还算稳定。如果时间和速度还可以的话,推荐大家还是用官方的FTP下载方式。FTP优先!FTP优先!FTP优先!

首先还是需要在青藏高原科学数据中心点击在线下载你所需的数据,你就会得到主机名、端口、用户名、密码等一系列FTP信息,然后用FTP下载器连上即可。如果不是很熟悉的可以参见我之前的博客。

Suomi NPP VIIRS夜间灯光遥感数据简介与下载(一)——数据介绍,FTP下载与hdf5读取

连上以后,点击你要下载的数据,点击复制URL到剪切板。

通常这个URL是类似下面的格式的。

ftp://username@ftp主机名:端口/FTP上文件完整路径

然后再这个URL的基础上,加上密码,通常就可以放置到专用下载器里下载了。

ftp://username:password@ftp主机名:端口/FTP上文件完整路径

这里我使用的是免费的IDM替代品Neat Download Management。

Neat Download Management下载地址

注意这类软件是分割文件多线程下载以后再拼接。如果下载失败记得去C盘里把临时文件删除。

参考链接:

1.IDM解决FTP下载缓慢问题–2

2.使用IDM解决FTP下载缓慢问题