1. 简单说明爬虫原理
通过代码从网页抓取所需的信息。
2. 理解爬虫开发过程
1).简要说明浏览器工作原理；
从浏览器输入地址请求网页，服务器响应，传输网页，浏览器渲染并显示。
2).使用 requests 库抓取网站数据；
以下代码在课堂上用jupyter实现过了
requests.get(url) 获取校园新闻首页html代码
import requests url = ‘http://news.gzcc.cn/html/xiaoyuanxinwen/‘ res = requests.get(url) res.text res.status_code res.encoding
3).了解网页
写一个简单的html文件，包含多个标签，类，id
html_sample = ‘ <html> <head> <title>登录界面</title> </head> <body> <div> <h1 id="title">请登录</h1> <label for="loginName">用户名</label> <input type="text" name="loginName" id="loginName" placeholder="用户名"> <label for="password">密码</label> <input type="password" name="password" id="password" placeholder="密码"> <button type="submit">登录</button> </div> </body> </html> ‘
4).使用 Beautiful Soup 解析网页；
通过BeautifulSoup(html_sample,‘html.parser‘)把上述html文件解析成DOM Tree
select（选择器）定位数据
找出含有特定标签的html元素
找出含有特定类名的html元素
找出含有特定id名的html元素
import bs4 from bs4 import BeautifulSoup soup = BeautifulSoup(html_sample,‘html.parser‘) soup.text header = soup.select(‘h1‘) header t = soup.select(‘#title‘) l = soup.select(‘.password‘)
3.提取一篇校园新闻的标题、发布时间、发布单位
url = ‘http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0320/11029.html‘
url_t = ‘http://news.gzcc.cn/html/2019/xiaoyuanxinwen_0320/11029.html‘ res = requests.get(url_t) print(res.encoding) print(res.text) res.encoding = ‘utf-8‘ print(res.text) title = soup.select(‘#show-title‘) time = soup.select(‘#show-content‘)
原文：https://www.cnblogs.com/wan-y/p/10611207.html