从国外下载大量小文件到国内的方法
现有需求下载大量小文件到国内，怎么办呢？文件是以Apache的http形式给出，即为这篇文章里的样子。
好像有点麻烦，如果在国内直接下载，由于文件数量多，必然速度很慢。
我的解决方案是：
首先用国外的机器进行wget，由于国外对国外，即使文件数量多，也可以基本做到满速，而且不论如何都得wget的，所以这步基本可以做到没有损失。
之后考虑将这些文件，使用较好的网络，传到国内。首选校园网。但由于我VP...
标签download下的文章
使用rsync下载零散文件
现有一需求，想从服务器上下载一个目录到另一个机器上，而且服务器没有足够空间供打包或者文件太大太多，打包的时间也太长，无法忍受，怎么办呢？之前从来没用过rsync，这次准备试一试，没想到效果挺好的。rsync可以很好地进行数据压缩和打包传输，从而使得大量零散文件也不会影响到传输效率。具体使用方法如下：rsync -avzP 源目录 目的目录。目录在远程和本地的写法跟惯例一样的，比如本地目录、用户@远...
如何下载一个Apache下的网站的目录
现有一需求，下载一个Apache展示的目录http://www.nco.ncep.noaa.gov/pmb/codes/nwprod/。
考虑使用wget。
执行wget -e robots=off -r -t 0 -l 0 -c -np -o wget.log http://www.nco.ncep.noaa.gov/pmb/codes/nwprod/即可。
但完成之后会产生一些网页文件，这是由...