爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程。
通用爬虫是搜索引擎“抓取系统”的重要组成部分，主要目的是将互联网上的内容下载到本地，形成一个互联网内容的镜像备份。简单来讲就是尽可能将网页下载到本地服务器进行备份，再对这些内容进行处理，最后提供一个用户检索接口。
根据指定需求抓取互联网上指定的数据。
门户网站通过一定的策略和技术手段，防止爬虫程序进行网站数据的爬取。
爬虫程序通过相应的技术和手段，破解门户网站的饭爬虫手段，从而爬取到相应的数据。
原文：https://www.cnblogs.com/yuliangkaiyue/p/9962409.html