wget下载与tar压缩/解压

wget命令

Usage: wget [OPTION]... [URL]...

# 后台运行
-b,  --background                go to background after startup

# log信息打印
-o,  --output-file=FILE          log messages to FILE
-a,  --append-output=FILE        append messages to FILE
-d,  --debug                     print lots of debugging information
-q,  --quiet                     quiet (no output)

# url来源文件
-i,  --input-file=FILE           download URLs found in local or external FILE
-F,  --force-html                treat input file as HTML
-B,  --base=URL                  resolves HTML input-file links (-i -F)

# 下载回复
-O,  --output-document=FILE      write documents to FILE
-c,  --continue                  resume getting a partially-downloaded file         # 断电续传
     --start-pos=OFFSET          start downloading from zero-based position OFFSET
     --progress=TYPE             select progress gauge type
     --show-progress             display the progress bar in any verbosity mode

-N,  --timestamping              don't re-retrieve files unless newer than local    # 不下载早于的时间戳
      --no-if-modified-since      don't use conditional if-modified-since get requests in timestamping mode # 自从上次下载未进行修改
      --no-use-server-timestamps  don't set the local file's timestamp by the one on the server             # 不使用服务器提供的时间戳

# 响应response                                  
-S,  --server-response           print server response
     --spider                    don't download anything

# 下载速率设置...
-Q,  --quota=NUMBER              set retrieval quota to NUMBER                    # 设置递归层数
     --bind-address=ADDRESS      bind to ADDRESS (hostname or IP) on local host   # 绑定ip访问，即以ip进行下载数据
     --limit-rate=RATE           limit download rate to RATE                      # 下载速率
     --no-dns-cache              disable caching DNS lookups                      # 不使用dns缓存，直接进行dns查询
     --restrict-file-names=OS    restrict chars in file names to ones OS allows   # 使用系统所限制字符
     --ignore-case               ignore case when matching files/directories      # 忽略大小写

# Http请求头设置
-E,
      --header=STRING             insert STRING among the headers
      --compression=TYPE          choose compression, one of auto, gzip and none. (default: none)
      --max-redirect              maximum redirections allowed per page           # 最大次数进行重定向
      --proxy-user=USER           set USER as proxy username
      --proxy-password=PASS       set PASS as proxy password
      --referer=URL               include 'Referer: URL' header in HTTP request
      --save-headers              save the HTTP headers to file    
-U,   --user-agent=AGENT          identify as AGENT instead of Wget/VERSION
      --no-http-keep-alive        disable HTTP keep-alive (persistent connections)
      --no-cookies                don't use cookies
      --load-cookies=FILE         load cookies from FILE before session
      --save-cookies=FILE         save cookies to FILE after session
      --keep-session-cookies      load and save session (non-permanent) cookies
      --post-data=STRING          use the POST method; send STRING as the data
      --post-file=FILE            use the POST method; send contents of FILE
      --method=HTTPMethod         use method "HTTPMethod" in the request
      --body-data=STRING          send STRING as data. --method MUST be set
      --body-file=FILE            send contents of FILE. --method MUST be set
      --content-disposition       honor the Content-Disposition header when
                                    choosing local file names (EXPERIMENTAL)
      --content-on-error          output the received content on server errors
      --auth-no-challenge         send Basic HTTP authentication information
                                    without first waiting for the server's
                                    challenge

参考：linux下载命令

使用wget -Q限制总下载文件大小
==当你想要下载的文件超过5M而退出下载，你可以使用以下命令:==

wget -Q5m -i filelist.txt

注意：这个参数对单个文件下载不起作用，只能递归下载时才有效。

使用wget -r -A下载指定格式文件
可以在以下情况使用该功能

• 下载一个网站的所有图片
• 下载一个网站的所有视频
• 下载一个网站的所有PDF文件

wget -p /path -A "*.png" url 
wget -p /path -A png,jpg url

下载整个网站

你甚至可以用wget下载完整的站点, 然后进行离线浏览. 方法是使用如下命令:

wget --mirror --convert-links --page-requisites --no-parent -P /path/to/download https://example-domain.com

--mirror 会开启镜像所需要的所有选项.
--convert-links 会将所有链接转换成本地链接以便离线浏览.
--page-requisites 表示下载包括CSS样式文件，图片等所有所需的文件，以便离线时能正确地现实页面.
--no-parent 用于限制只下载网站的某一部分内容.
-P设置下载路径.

压缩与解压

tar
-c: 建立压缩档案
-x：解压
-t：查看内容
-r：向压缩归档文件末尾追加文件
-u：更新原压缩包中的文件
这五个是独立的命令，压缩解压都要用到其中一个，可以和别的命令连用但只能用其中一个。下面的参数是根据需要在压缩或解压档案时可选的。

-z：有gzip属性的
-j：有bz2属性的
-Z：有compress属性的
-v：显示所有过程
-O：将文件解开到标准输出

下面的参数-f是必须的
-f: 使用档案名字，切记，这个参数是最后一个参数，后面只能接档案名。

小节

1. *.tar 用 tar –xvf 解压
2. *.gz 用 gzip -d或者gunzip 解压
3. .tar.gz和.tgz 用 tar –xzf 解压
4. *.bz2 用 bzip2 -d或者用bunzip2 解压
5. *.tar.bz2用tar –xjf 解压
6. *.Z 用 uncompress 解压
7. *.tar.Z 用tar –xZf 解压
8. *.rar 用 unrar e解压
9. *.zip 用 unzip 解压
   解压的时候，有时候不想覆盖已经存在的文件，那么可以加上-n参数

unzip -n test.zip
unzip -n -d /temp test.zip

只看一下zip压缩包中包含哪些文件，不进行解压缩unzip -l test.zip

查看显示的文件列表还包含压缩比率unzip -v test.zip

检查zip文件是否损坏unzip -t test.zip

如果已有相同的文件存在，要求unzip命令覆盖原先的文件unzip -o test.zip -d /tmp/

示例：
eg1: unzip mydata.zip -d mydatabak #解压到mydatabak目录

1. xz
   这是两层压缩，外面是xz压缩方式，里层是tar压缩,所以可以分两步实现解压

$ xz -d node-v6.10.1-linux-x64.tar.xz
$ tar -xvf node-v6.10.1-linux-x64.tar

wget下载与tar压缩/解压

原文：https://www.cnblogs.com/guanyuespace/p/wget_tar.html