首页 > 其他 > 详细

总结二十九

时间:2019-08-19 21:35:51      阅读:99      评论:0      收藏:0      [点我收藏+]

进程池与线程池

开进程开线程都需要消耗资源,只不过两者比较的情况线程消耗的资源比较少

在计算机能够承受范围之内最大限度的利用计算机

 

什么是池

在保证计算机硬件安全的情况下最大限度的利用计算机

池其实是降低了程序的运行效率,但是保证了计算机硬件的安全

(硬件的发展跟不上软件的速度)

#进程池与线程池
from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
import time
import os

# pool = ThreadPoolExecutor(5)  # 括号内可以传参数指定线程池内的线程个数
# # 也可以不传  不传默认是当前所在计算机的cpu个数乘5
pool = ProcessPoolExecutor()  # 默认是当前计算机cpu的个数
"""
池子中创建的进程/线程创建一次就不会再创建了
至始至终用的都是最初的那几个
这样的话节省了反复开辟进程/线程的资源
"""

def task(n):
    print(n,os.getpid())  # 查看当前进程号
    time.sleep(2)
    return n**2


def call_back(n):
    print(拿到了异步提交任务的返回结果:,n.result())
"""
提交任务的方式
    同步:提交任务之后 原地等待任务的返回结果 期间不做任何事
    异步:提交任务之后 不等待任务的返回结果(异步的结果怎么拿???) 直接执行下一行代码
"""

# pool.submit(task,1)  # 朝线程池中提交任务   异步提交
# print(‘主‘)
"""
异步回调机制:当异步提交的任务有返回结果之后,会自动触发回调函数的执行

"""
if __name__ == __main__:

    t_list = []
    for i in range(20):
        res = pool.submit(task,i).add_done_callback(call_back)  # 提交任务的时候 绑定一个回调函数 一旦该任务有结果 立刻执行对于的回调函数
        # print(res.result())  # 原地等待任务的返回结果
        t_list.append(res)

    # pool.shutdown()  # 关闭池子 等待池子中所有的任务执行完毕之后 才会往下运行代码
    # for p in t_list:
    #     print(‘>>>:‘,p.result())

 

协程

  进程:资源单位

  线程:执行单位

  协程:单线程下实现并发

  并发:切换+保存状态  ps:看起来像同时执行的,就可以称之为并发

  协程:完全是程序员自己想出来的名字    单线程下实现并发

  并发的条件

    多到技术:空间上的复用,时间上的复用(切换+保存状态)

  程序员自己通过代码自己检测程序中的IO

  一旦遇到IO自己用过代码切换

  给操作系统的感觉是这个县城没有任何的IO

  ps:欺骗操作系统,让它误认为这个程序一直没有IO

    从而保证程序在运行状态和就绪态来回切换

    提升代码的运行效率

  

  切换+保存状态就一定能提升效率吗?

    当你的任务是IO密集型的情况下       提升效率

    当你的任务是计算密集型的情况下    降低效率

  yield  保存上一次的结果

  多进程下开多线程

  多线程下再开协程

 

 

# 串行执行 0.8540799617767334
import time

def func1():
    for i in range(10000000):
        i+1

def func2():
    for i in range(10000000):
        i+1

start = time.time()
func1()
func2()
stop = time.time()
print(stop - start)


# 基于yield并发执行  1.3952205181121826
import time
def func1():
    while True:
        10000000+1
        yield

def func2():
    g=func1()
    for i in range(10000000):
        time.sleep(100)  # 模拟IO,yield并不会捕捉到并自动切换
        i+1
        next(g)

start=time.time()
func2()
stop=time.time()
print(stop-start)

 

"""
需要找到一个能够识别IO的一个工具

gevent模块
"""
from gevent import monkey;monkey.patch_all()  # 由于该模块经常被使用 所以建议写成一行
from gevent import spawn
import time
"""
注意gevent模块没办法自动识别time.sleep等io情况
需要你手动再配置一个参数
"""

def heng():
    print("")
    time.sleep(2)
    print()

def ha():
    print()
    time.sleep(3)
    print()

def heiheihei():
    print(嘿嘿嘿)
    time.sleep(5)
    print(嘿嘿嘿)

start = time.time()
g1 = spawn(heng)
g2 = spawn(ha)  # spawn会检测所有的任务
g3 = spawn(heiheihei)
g1.join()
g2.join()
g3.join()
# heng()
# ha()
print(time.time() - start)

 

总结二十九

原文:https://www.cnblogs.com/TZZ1995/p/11379671.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!