首页 > 编程语言 > 详细

python 协程爬虫

时间:2021-05-26 23:26:15      阅读:59      评论:0      收藏:0      [点我收藏+]

协程

协程:是单线程下的并发,又称微线程,纤程。英文名Coroutine。一句话说明什么是协程:协程是一种用户态的轻量级线程,即协程是由用户程序自己控制调度的。

协程爬虫

import asyncio
import requests
import time

asyncio def run(url):
    prinrt(url)
    loop= asyncio. get_event_loop()
    res =await loop. run_in_executor(None,requests. get,url)
    print(res. url)

url_list=["http://www.baidu.com","http://mengsec com"]
tasks=[asyncio. ensure_future(run(url)) for url in url_list]
loop=asyncio. get_event_loop()
loop. run_until_complete(asyncio. wait(tasks))

  

python 协程爬虫

原文:https://www.cnblogs.com/boye169/p/14815207.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!