1前言
这个小程序是用来爬取小说网站的小说的，一般的盗版小说网站都是很好爬取的
因为这种网站基本没有反爬虫机制的，所以可以直接爬取
该小程序以该网站http://www.126shu.com/15/下载全职法师为例
2.requests库
文档：http://www.python-requests.org/en/master/community/sponsors/
requests库非常得简单好用，他可以向网站发送请求，接收信息
最简单的一个例子即是
r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encodingraise_for_status()的功能是若服务器发送404/502之类的错误码raise_for_status()便会抛出异常
r.encoding = r.apparent_encoding这一行语句用于调整编码，encoding为代码猜测出来的编码，可能并不准确
def get_html(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return " HTMLERROR "3.BeautifulSoup库
BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找
文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/
基本用法：
url_list=[]
soup = BeautifulSoup(html,'lxml')
lista = soup.find_all('dd')找到dd元素的原因是通过F12开发者工具发现每个章节的链接都在该元素中存储
于是可以在每个元素中都可以找到该链接，然后把他放在要返回的列表中
for Url in lista:
try:
url_list.append('http://www.126shu.com/'+Url.a['href'])
except:
print('获取连接失败')4.获取内容
前两步处理完毕后获取了每个章节的链接，接下来就是对每个章节的内容进行处理
通过F12开发者工具我们同样可以发现文本在哪，标题在哪，于是可以写出代码，然后打开文件进行写入
def get_content(url):
html = get_html(url).replace('<br/>','\n')
soup = BeautifulSoup(html,'lxml')
try:
txt = soup.find('div',id='content').text
title = soup.find('div','hh').text
with open('全职法师.txt','a+',encoding = 'utf-8')as f:
f.write(title+'\n\n')
f.write(txt)
except:
print('ERROR')5.完整代码
由于我只是下载后面的章节，于是在main()函数中我设置了n变量进行判断
import requests
import time
from bs4 import BeautifulSoup
def get_html(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return " HTMLERROR "
def get_url(url):
url_list=[]
html = get_html(url)
soup = BeautifulSoup(html,'lxml')
lista = soup.find_all('dd')
for Url in lista:
try:
url_list.append('http://www.126shu.com/'+Url.a['href'])
except:
print('获取连接失败')
return url_list
def get_content(url):
html = get_html(url).replace('<br/>','\n')
soup = BeautifulSoup(html,'lxml')
try:
txt = soup.find('div',id='content').text
title = soup.find('div','hh').text
with open('全职法师.txt','a+',encoding = 'utf-8')as f:
f.write(title+'\n\n')
f.write(txt)
except:
print('ERROR')
def main(url):
url_list=get_url(url)
n = 1
for Url in url_list:
n = n + 1
if n>1525:
get_content(Url)
url = 'http://www.126shu.com/15/'
if __name__ =='__main__':
main(url)