1.用Requests爬去你想要的爬取的网站
|
1
2
3
4
|
import requestsr = requests.get(‘https://www.baidu.com‘)print r.text # 打印网站源代码 |
注意：使用Requests前需要安装Requests库，安装方法，命令行输入：
|
1
|
pip install requests |
2. 用Beautiful Soup解析网站源代码
安装：
|
1
|
pip install beautifulsoup4 |
解析：
|
1
2
3
4
5
6
7
8
|
from bs4 import BeautifulSoup # 引用BeautifulSoup库import requests # 引用Requests库r = requests.get(‘https://www.baidu.com‘)html = r.text # 获取网站源代码soup = BeautifulSoup(html) #创建 beautifulsoup 对象print soup.a # 获取网页的链接 （a标签）# ... |
PS：
Requests库的具体用法，见 http://docs.python-requests.org/zh_CN/latest/
BeautifulSoup库的具体用法，见 https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/
原文：http://www.cnblogs.com/siyu1915/p/7226951.html