一 互斥锁
进程之间数据不共享,但是共享同一套文件系统,所以访问同一个文件,或同一个打印终端,是没有问题的,而共享带来的是竞争,竞争带来的结果就是错乱,如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 | from multiprocessing import Process import os import time def work(): print ( '%s is running' % os.getpid()) time.sleep( 2 ) print ( '%s is done' % os.getpid()) if __name__ = = '__main__' : for i in range ( 3 ): p = Process(target = work) p.start() 输出: 28449 is running 28451 is running 28450 is running 28449 is done 28451 is done 28450 is done |
如何控制,就是加锁处理,而互斥锁的意思就是相互排斥,如果把多个进程比喻为多个人,互斥锁的工作原理就是个人都要去争抢同一个资源:卫生间,一个人抢到卫生间后上一把锁,其它人都要等着,等到这个完成任务后释放锁,其它人才有可能有一个抢到。。。所以互斥锁的原理,就是把并发改成串行,降低了效率,但保证了数据安全不错乱
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 | from multiprocessing import Process, Lock import os import time def work(lock): lock.acquire() # 加锁 print ( '%s is running' % os.getpid()) time.sleep( 2 ) print ( '%s is done' % os.getpid()) lock.release() # 释放锁 if __name__ = = '__main__' : lock = Lock() for i in range ( 3 ): p = Process(target = work, args = (lock,)) p.start() |
二 模拟抢票练习
多个进程共享同一文件,可以把文件当数据库,用多个进程模拟多个人执行抢票任务
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 | def search(name): dic = json.load( open ( 'db.txt' )) time.sleep( 1 ) print ( '\033[43m %s 查询到剩余票数%s\033[0m' % (name, dic[ 'count' ])) def get(name): dic = json.load( open ( 'db.txt' )) time.sleep( 1 ) # 模拟读数据的网络延迟 if dic[ 'count' ] > 0 : dic[ 'count' ] - = 1 time.sleep( 1 ) # 模拟写数据的网络延迟 json.dump(dic, open ( 'db.txt' , 'w' )) print ( '\033[46m %s 购票成功\033[0m' % name) def task(name): search(name) get(name) if __name__ = = '__main__' : for i in range ( 10 ): # 模拟并发10个客户端抢票 name = '<路人%s>' % i p = Process(target = task, args = (name,)) p.start() |
并发运行,效率高,但竞争写同一文件,数据写入错乱,只有一张票,卖成功给了10个人
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 | <路人 0 > 查询到剩余票数 1 <路人 1 > 查询到剩余票数 1 <路人 2 > 查询到剩余票数 1 <路人 3 > 查询到剩余票数 1 <路人 4 > 查询到剩余票数 1 <路人 5 > 查询到剩余票数 1 <路人 6 > 查询到剩余票数 1 <路人 7 > 查询到剩余票数 1 <路人 8 > 查询到剩余票数 1 <路人 9 > 查询到剩余票数 1 <路人 0 > 购票成功 <路人 3 > 购票成功 <路人 1 > 购票成功 <路人 2 > 购票成功 <路人 4 > 购票成功 <路人 5 > 购票成功 <路人 8 > 购票成功 <路人 7 > 购票成功 <路人 6 > 购票成功 <路人 9 > 购票成功 |
加锁处理:购买行为由并发变成了串行,牺牲了运行效率,但保证了数据安全
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 | # 文件db.txt的内容为:{"count":1} # 注意一定要用双引号,不然json无法识别 def search(name): dic = json.load( open ( 'db.txt' )) time.sleep( 1 ) print ( '\033[43m %s 查询到剩余票数%s\033[0m' % (name, dic[ 'count' ])) def get(name): dic = json.load( open ( 'db.txt' )) time.sleep( 1 ) # 模拟读数据的网络延迟 if dic[ 'count' ] > 0 : dic[ 'count' ] - = 1 time.sleep( 1 ) # 模拟写数据的网络延迟 json.dump(dic, open ( 'db.txt' , 'w' )) print ( '\033[46m %s 购票成功\033[0m' % name) def task(name): search(name) with lock: # 相当于lock.acquire(),执行完自代码块自动执行lock.release() get(name) if __name__ = = '__main__' : lock = Lock() for i in range ( 10 ): # 模拟并发10个客户端抢票 name = '<路人%s>' % i p = Process(target = task, args = (name,)) p.start() |
执行结果
1 2 3 4 5 6 7 8 9 10 11 | <路人 0 > 查询到剩余票数 1 <路人 1 > 查询到剩余票数 1 <路人 2 > 查询到剩余票数 1 <路人 3 > 查询到剩余票数 1 <路人 4 > 查询到剩余票数 1 <路人 5 > 查询到剩余票数 1 <路人 6 > 查询到剩余票数 1 <路人 7 > 查询到剩余票数 1 <路人 8 > 查询到剩余票数 1 <路人 9 > 查询到剩余票数 1 <路人 0 > 购票成功 |
三 互斥锁与join
使用join可以将并发变成串行,互斥锁的原理也是将并发变成串行,那直接使用join就可以了啊,为何还要互斥锁,说到这里我赶紧试一下
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 | def search(name): dic = json.load( open ( 'db.txt' )) time.sleep( 1 ) print ( '\033[43m %s 查询到剩余票数%s\033[0m' % (name, dic[ 'count' ])) def get(name): dic = json.load( open ( 'db.txt' )) time.sleep( 1 ) # 模拟读数据的网络延迟 if dic[ 'count' ] > 0 : dic[ 'count' ] - = 1 time.sleep( 1 ) # 模拟写数据的网络延迟 json.dump(dic, open ( 'db.txt' , 'w' )) print ( '\033[46m %s 购票成功\033[0m' % name) def task(name): search(name) get(name) if __name__ = = '__main__' : for i in range ( 10 ): # 模拟并发10个客户端抢票 name = '<路人%s>' % i p = Process(target = task, args = (name,)) p.start() p.join() |
执行结果
1 2 3 4 5 6 7 8 9 10 11 | <路人 0 > 查询到剩余票数 1 <路人 0 > 购票成功 <路人 1 > 查询到剩余票数 0 <路人 2 > 查询到剩余票数 0 <路人 3 > 查询到剩余票数 0 <路人 4 > 查询到剩余票数 0 <路人 5 > 查询到剩余票数 0 <路人 6 > 查询到剩余票数 0 <路人 7 > 查询到剩余票数 0 <路人 8 > 查询到剩余票数 0 <路人 9 > 查询到剩余票数 0 |
发现使用join并发改成串行,确实保证数据安全,但问题是连查票操作也变成只能一个一个人去查了,很明显大家查票应该是并发地去查询而无需考虑数据准确与否,此时join与互斥锁的区别就显而易见了,join是将一个任务整体串行,而互斥锁的好处是可以将一个任务中的某一段代码串行,比如只让task函数中的get任务串行
1 2 3 4 5 6 | def task(name): search(name) # 并发执行 lock.acquire() get(name) # 串行执行 lock.release() |
四 总结
加锁可以保证多个进程修改同一块数据时,同一时间只能有一个任务可以进行修改,即串行地修改,没错,速度是慢了,但牺牲了速度却保证了数据安全。
虽然可以用文件共享数据实现进程间通信,但问题是:
- 效率低(共享数据基于文件,而文件是硬盘上的数据)
- 需要自己加锁处理
因此我们最好找寻一种解决方案能够兼顾:
- 效率高(多个进程共享一块内存的数据)
- 帮我们处理好锁问题
者就是multiprocessing模块为我们提供的基于消息的IPC通信机制:队列和管道
队列和管道都是将数据存放与内存中,而队列又是基于(管道+锁)实现的,可以让我们从复杂的锁问题中解脱处理,因而队列才是进程间通信的最佳选择。
我们应该尽量避免使用共享数据,尽可能使用消息传递和队列,避免处理复杂的同步和锁问题,而且在进程数目增多时,往往可以获得更好的可获展性。