08月11, 2017

从国外下载大量小文件到国内的方法

现有需求下载大量小文件到国内,怎么办呢?文件是以Apache的http形式给出,即为这篇文章里的样子。

好像有点麻烦,如果在国内直接下载,由于文件数量多,必然速度很慢。

我的解决方案是:

首先用国外的机器进行wget,由于国外对国外,即使文件数量多,也可以基本做到满速,而且不论如何都得wget的,所以这步基本可以做到没有损失。

之后考虑将这些文件,使用较好的网络,传到国内。首选校园网。但由于我VPS空间不够了,所以没法在远程机器上打包,因此,我使用了这篇文章里说的rsync,进行文件传输。由于rsync具有打包压缩的功能,因此速度很快。

rsync完成后进行打包,最后我再从校园网拉到我本地的机器上,这一步速度也是很快的。

整个流程虽然得一步步进行,但可以保证的是每一步都是最快的,因此总共花的时间也不是特别多,还不错。

本文链接:https://debug.fanzheng.org/post/download-large-amount-of-small-files-from-abroad.html

-- EOF --

Comments

评论加载中...

注:如果长时间无法加载,请针对 disq.us | disquscdn.com | disqus.com 启用代理。