我们千方百计实现了程序的异步,让多个任务可以同时在几个进程中并发处理,他们之间的运行没有顺序,一旦开启也不受我们控制。尽管并发编程让我们能更加充分的利用IO资源,但是也给我们带来了新的问题。
import os
import time
import random
from multiprocessing import Process
def work(n):
print(‘%s: %s is running‘ %(n,os.getpid()))
time.sleep(random.random())
print(‘%s:%s is done‘ %(n,os.getpid()))
if __name__ == ‘__main__‘:
for i in range(3):
p=Process(target=work,args=(i,))
p.start()
# 由并发变成了串行,牺牲了运行效率,但避免了竞争
————————————分割————————————
import os
import time
import random
from multiprocessing import Process,Lock # 导入锁
def work(lock,n):
lock.acquire() # 获取钥匙
print(‘%s: %s is running‘ % (n, os.getpid()))
time.sleep(random.random())
print(‘%s: %s is done‘ % (n, os.getpid()))
lock.release() # 归还钥匙
if __name__ == ‘__main__‘:
lock=Lock() # 实例化
for i in range(3):
p=Process(target=work,args=(lock,i)) # 将lock传入work函数 并开启一个子进程指定target=work
p.start()
因此我们最好找寻一种解决方案能够兼顾:1、效率高(多个进程共享一块内存的数据)2、帮我们处理好锁问题。这就是mutiprocessing模块为我们提供的基于消息的IPC通信机制:队列和管道。
队列和管道都是将数据存放于内存中
队列又是基于(管道+锁)实现的,可以让我们从复杂的锁问题中解脱出来,
我们应该尽量避免使用共享数据,尽可能使用消息传递和队列,避免处理复杂的同步和锁问题,而且在进程数目增多时,往往可以获得更好的可获展性。