首页 > 其他 > 详细

爬虫小案例:多协程工作

时间:2020-01-26 22:41:10      阅读:85      评论:0      收藏:0      [点我收藏+]

为提高工作效率,让多个爬虫一起工作

需要使用的库是:gevent

1.方式一:使用队列的形式:

from gevent import monkey
# 从gevent库里导入monkey模块。
monkey.patch_all()
# monkey.patch_all()能把程序变成协作式运行,就是可以帮助程序实现异步。
import gevent,time,requests
# 导入gevent、time、requests
from gevent.queue import Queue
# 从gevent库里导入queue模块

start = time.time()
# 记录开始时间

url_list = [
    https://www.baidu.com/,
    https://www.sina.com.cn/,
    http://www.sohu.com/,
    https://www.qq.com/,
    https://www.163.com/,
    http://www.iqiyi.com/,
    https://www.tmall.com/,
    http://www.ifeng.com/
]
# 要爬取的网站

work = Queue()
# 创建队列对象,并赋值给work。
for url in url_list:
    work.put_nowait(url)
    # 用put_nowait()函数可以把网址都放进队列里

def crawler():
    while not work.empty():
        # 当队列不是空的时候,就执行下面的程序。
        url = work.get_nowait()
        # 用get_nowait()函数可以把队列里的网址都取出。
        r = requests.get(url)
        # 抓取网站内容
        print(url, work.qsize(), r.status_code)
        # 打印网址、队列长度、抓取请求的状态码

task_list = []
# 创建空的任务列表

for i in range(2):
    # 相当于创建了2个爬虫
    task = gevent.spawn(crawler)
    # 用gevent.spawn()函数创建执行crawler()函数的任务。
    task_list.append(task)
    # 往任务列表添加任务

gevent.joinall(task_list)
# 用gevent.joinall方法,执行任务列表里的所有任务,就是让爬虫开始爬取网站。

end = time.time()
# 结束时间

print(end-start)
# 总用时

以上是创建了一个队列存储 url,然后让 2 个爬虫一起工作,哪个爬虫执行完了,就可以从队列中获取下一个 url 去执行

技术分享图片

 

2.方式二:不使用队列,有多少个任务,就创建多少个爬虫去执行:

from gevent import monkey
# 从gevent库里导入monkey模块。
monkey.patch_all()
# monkey.patch_all()能把程序变成协作式运行,就是可以帮助程序实现异步。
import gevent,time,requests
#导入gevent、time、requests。

start = time.time()
# 记录程序开始时间。

url_list = [
    https://www.baidu.com/,
    https://www.sina.com.cn/,
    http://www.sohu.com/,
    https://www.qq.com/,
    https://www.163.com/,
    http://www.iqiyi.com/,
    https://www.tmall.com/,
    http://www.ifeng.com/
]
#把8个网站封装成列表。

def crawler(url):
#定义一个crawler()函数。
    r = requests.get(url)
    #用requests.get()函数爬取网站。
    print(url,time.time()-start,r.status_code)
    #打印网址、请求运行时间、状态码。

tasks_list = []
#创建空的任务列表。

for url in url_list:
    # 遍历url_list。
    task = gevent.spawn(crawler, url)
    # 用gevent.spawn()函数创建任务。
    tasks_list.append(task)
    # 往任务列表添加任务。

gevent.joinall(tasks_list)
# 执行任务列表里的所有任务,就是让爬虫开始爬取网站。
end = time.time()
# 记录程序结束时间。
print(end-start)
#打印程序最终所需时间。

以上只有 8 个网站,数量不多,可以这样操作,但是,如果是 1000 个网站,就是一下子发起1000 次请求,这样的恶意请求,会拖垮网站的服务器。所以,这样做是不可取的,要使用队列的形式来操作。

 

爬虫小案例:多协程工作

原文:https://www.cnblogs.com/KeenLeung/p/12234965.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!