1.爬虫的定义：脚本，程序--->自动抓取万维网上信息的程序。
2、爬虫可以解决的问题：
（1）解决冷启动的问题。（初创网站没有自己的信息直接爬取其他平台获取信息）
（2）搜索引擎的根基。做搜索引擎，必须使用爬虫。
（3）帮助机器学习建立知识图谱。
机器学习最终的是训练集。训练集可以靠爬虫爬去。
（4）可以制作比较软件。
3.爬虫注意：
（1）、robots协议
定义：网络爬虫排除标准
作用：告诉搜索引擎哪些可以爬哪些不能爬。
（2）、sitemap:网站地图，可以帮助我们了解一个网站的结构。
（3）、估算网站的大小
site:www.taobao.com
原文：https://www.cnblogs.com/bug-king/p/11960762.html