1. 简单说明爬虫原理
向网站发送请求，获取网页资源并提取所需要的数据。
2. 理解爬虫开发过程
1).简要说明浏览器工作原理；
浏览器工作原理的实质就是实现http协议的通讯，具体过程如下：(HTTP通信的流程，大体分为三个阶段)
- 连接，服务器通过一个ServerSocket类对象对某端口进行监听，监听都之后进行连接，打开一个socket虚拟文件。
- 请求，创建与监理socket连接相关的流对象后，浏览器获取请求，为get请求，则从请求信息中获取所访问的html文件名，向服务器发送请求。
- 响应，服务器收到请求后，搜索相关的目录文件，若不存在，返回错误的信息。若存在，则读取html文件，进行加http头等处理响应给浏览器，浏览器解析html文件，若其中还包含图片，视频等资源，则浏览器再次访问web服务器，获取图片视频等，并对其进行组装显示给用户。
2).使用 requests 库抓取网站数据；
import requests response = requests.get(‘http://news.gzcc.cn/html/xiaoyuanxinwen/‘)
3).了解网页
写一个简单的html文件，包含多个标签，类，id
<html> </head> <body> <h1 id="title">Hello</h1> <a href="*" class="line">The Line1</a><a href="* line2" class="line" qao=123> The Line2</a> <p id="preceed">The Preceed </p> </body> </html>
4).使用 Beautiful Soup 解析网页；
通过BeautifulSoup(html_sample,‘html.parser‘)把上述html文件解析成DOM Tree
select（选择器）定位数据
找出含有特定标签的html元素
t=soup2.select(‘h1‘)[0].text print(t)
找出含有特定类名的html元素
for i in range(len(soup2.select(‘.line‘))): d=soup2.select(‘.line‘)[i].text print(d)
找出含有特定id名的html元素
preceed=soup2.select(‘#preceed‘)[0].text print(preceed)
3.提取一篇校园新闻的标题、发布时间、发布单位
原文：https://www.cnblogs.com/tysonnnn2/p/10595068.html