一、学爬虫前应该先清楚的问题。
1、爬虫是做什么的？
爬虫是将网页数据下载到本地或者数据库。
2、数据又是怎么来的？
数据是通过接口传输到前端的页面进行显示的。
3、如何提取自己想要的数据？
分析数据显示在哪些标签内。
以上是爬虫最基本要清楚的问题。
二、爬虫的思路
1、既然数据是存放到网页上，那么就应该先发送请求，获取数据存放页面的源代码。
2、分析源代码里面哪些数据是自己必须要的，将其拿到（最花费时间的一步）
3、在将数据保存到自己电脑或者数据库。
原文：https://www.cnblogs.com/sheshidu/p/13054352.html