Python 进程间通信- Queue, Pipe, Manager

回顾线程间通信（Python多线程编程之线程间通信），线程间通信用共享变量和queue.Queue。但这两者都不能用于进程间通信。不同进程之间，变量就算同名也是位于不同的内存地址上，也是不同的变量。queue.Queue 也不能用于进程间通信，将不同进程的变量put进queue.Queue对象中，会抛弃常。下面示例代码：

from queue import Queue def producer(queue): queue.put("a") time.sleep(2) def consumer(queue): time.sleep(2) data = queue.get() print(data) if __name__ == "__main__": queue = Queue(10) my_producer = Process(target=producer, args=(queue,)) my_consumer = Process(target=consumer, args=(queue,)) my_producer.start() my_consumer.start() my_producer.join() my_consumer.join() # 运行结果，抛异常退出

1. from multiprocessing import Queue ，multiprocessing 中的 Queue, 不能用于 pool 进程池。

import time from multiprocessing import Process,Queue def producer(queue): queue.put("a") time.sleep(2) def consumer(queue): time.sleep(2) data = queue.get() print(data) if __name__ == "__main__": #queue = queue.Queue() queue = Queue() my_producer = Process(target=producer,args=(queue,)) my_consumer = Process(target=consumer,args=(queue,)) my_producer.start() my_consumer.start() my_producer.join() my_consumer.join() """ 运行结果： a Process finished with exit code 0 """ # 使用 multiprocessing.Queue 可以正常实现进程间通信，正常打印出 “a”

2. from multiprocessing import Manager(实例化后调用Queue()可以用于多进程的进程池）

import time from multiprocessing import Process,Queue,Pool,Manager def producer(queue): queue.put("a") time.sleep(2) def consumer(queue): time.sleep(2) data = queue.get() print(data) if __name__ == "__main__": #pool中的进程间通信需要先实例化Manager，再调用Queue() queue = Manager().Queue() pool = Pool() pool.apply_async(producer,args=(queue,)) pool.apply_async(consumer, args=(queue,)) pool.close() pool.join() """ a Process finished with exit code 0 """

3. 管道 Pipe （两进程间的通信优先考虑）， pipe的性能高于queue， 因为 queue要加了很多锁。

import time from multiprocessing import Pool, Pipe def producer(pipe): pipe.send("a") time.sleep(3) print(pipe.recv()) def consumer(pipe): time.sleep(2) data = pipe.recv() pipe.send("b") print(data) if __name__ == "__main__": # Pipe实现两进程间通信 s_pipe, r_pipe = Pipe() pool = Pool() pool.apply_async(producer, args=(s_pipe,)) pool.apply_async(consumer, args=(r_pipe,)) pool.close() pool.join() """ 运行结果： a b Process finished with exit code 0 """