wget
用于网页或者文件下载的命令
wget URL
wget URL1 URL1
-O doloaded.txt #下载文件为doloaded.txt
-o log #日志信息保存到log文件中
-t 5 #指定重试次数5
--limit-rate 20k #限制速度
--quota或-Q #限制下载文件的大小
-c #使用断点续传继续下载
--mirror exampledomain.com #使用爬虫递归收集该网站上所有的URL链接
--user username --password pass #访问一些需要认证的http或FTP页面
lynex
一个基于命令行的浏览器，可以将html解析为通过浏览器显示出来的文本
lynx -dump url > local_text.txt #将网页文本保存在本地
curl
比wget功能更强大的工具，支持HTTP、HTTPS、FTP在内的众多协议。还支持 POST、cookie、认证等功能。
curl URL > index.html #必须指定重定向文件，否则会输出到控制台
--progress #显示进度信息
Shell 简单的WEB命令
原文：http://blog.csdn.net/zq602316498/article/details/46356405
