生产者消费者模型

　　生产者消费者模型是一种编程技巧，所以不限于python而是适用于各类编程语言。

　　生产者消费者问题，实际上主要是包含了两类线程(或进程)，一种是生产者线程(或进程)用于生产数据，另一种是消费者线程(或进程)用于消费数据，为了解耦生产者和消费者的关系，通常会采用共享的数据区域。

　　生产者生产数据之后直接放置在共享数据区中，并不需要关心消费者的行为;而消费者只需要从共享数据区中去获取数据，就不再需要关心生产者的行为。但是，这个共享数据区域中应该具备这样的线程(或进程)间并发协作的功能：

　　1）如果共享数据区已满的话，阻塞生产者继续生产数据放置入内;

　　2）如果共享数据区为空的话，阻塞消费者继续消费数据;

　　3）借助Queue的通信功能来实现多进程的生产着消费者模型!

　　场景：假设你是皇上要临幸爱妃(用girl表示)，皇上作为消费者角色，三宫六院负责产出爱妃(girl)则充当生产者的角色!

# ‐*‐ coding: utf‐8 ‐*‐

from multiprocessing import Queue
from multiprocessing import Process
import random
import time
import os


def produce(queue):
    for i in range(5):
        print("produce子进程%s生产 girl_%s" % (os.getpid(),str(i)))
        queue.put('girl_'+ str(i))
        time.sleep(random.randint(0,1))


def consumer(queue):
    while True:
        if not queue.empty():
            girl = queue.get()
            if girl != 'man':
                print("consumer子进程%s消费 %s" % (os.getpid(),girl))
                time.sleep(random.randint(0, 1))
            else:
                print("consumer子进程%s获取结束信号man" % os.getpid())
                break


if __name__ == "__main__":

    girls_q = Queue()
    p = Process(target=produce,args=(girls_q,))
    c = Process(target=consumer,args=(girls_q,))

    # 开启生产者、消费者子进程
    p.start()
    c.start()
    # 父进程等待子进程
    p.join()
    girls_q.put('man')# 放入生产结束的信号
    c.join()

    print("生产者消费者模型完毕~~~临幸完所有爱妃")

D:installpython3python.exe D:/pyscript/test/test1.py
produce子进程11648生产 girl_0
produce子进程11648生产 girl_1
produce子进程11648生产 girl_2
produce子进程11648生产 girl_3
consumer子进程11016消费 girl_0
consumer子进程11016消费 girl_1
consumer子进程11016消费 girl_2
consumer子进程11016消费 girl_3
produce子进程11648生产 girl_4
consumer子进程11016消费 girl_4
consumer子进程11016获取结束信号man
生产者消费者模型完毕~~~临幸完所有爱妃

Process finished with exit code 0

　　以上是单个生产者单个消费者的形式，如果是多个生产者多个消费者呢?可以参考如下代码：

# ‐*‐ coding: utf‐8 ‐*‐

from multiprocessing import Queue
from multiprocessing import Process
import random
import time
import os


def produce(queue):
    for i in range(5):
        print("produce子进程%s生产 girl_%s" % (os.getpid(),str(i)))
        queue.put('girl_'+ str(i))
        time.sleep(random.randint(0,1))


def consumer(queue):
    while True:
        if not queue.empty():
            girl = queue.get()
            if girl != 'man':
                print("consumer子进程%s消费 %s" % (os.getpid(),girl))
                time.sleep(random.randint(0, 1))
            else:
                print("consumer子进程%s获取结束信号man" % os.getpid())
                queue.put('man')  # 放到队列,让其他消费者也能获取man
                break


if __name__ == "__main__":

    girls_q = Queue()
    list_p = []  # 生产者子进程列表
    list_c = []  # 消费者子进程列表

    # 3个生产者
    for i in range(3):
        p = Process(target=produce,args=(girls_q,))
        list_p.append(p)
    # 3个消费者
    for i in range(3):
        c = Process(target=consumer,args=(girls_q,))
        list_c.append(c)

    # 开启生产者、消费者子进程
    for p in list_p:
        p.start()
    for c in list_c:
        c.start()

    # 父进程等待子进程
    for p in list_p:
        p.join()
    girls_q.put('man')  # 放入生产结束的信号
    for c in list_c:
        c.join()

    print("生产者消费者模型完毕~~~")

D:installpython3python.exe D:/pyscript/test/test1.py
produce子进程10920生产 girl_0
consumer子进程9432消费 girl_0
produce子进程10920生产 girl_1
produce子进程10920生产 girl_2
produce子进程10920生产 girl_3
produce子进程10920生产 girl_4
consumer子进程3584消费 girl_1
consumer子进程3584消费 girl_2
produce子进程10992生产 girl_0
produce子进程10992生产 girl_1
produce子进程10992生产 girl_2
produce子进程10992生产 girl_3
produce子进程8232生产 girl_0
produce子进程8232生产 girl_1
produce子进程8232生产 girl_2
consumer子进程11760消费 girl_3
consumer子进程9432消费 girl_4
consumer子进程9432消费 girl_0
consumer子进程9432消费 girl_1
consumer子进程9432消费 girl_2
consumer子进程9432消费 girl_3
consumer子进程3584消费 girl_0
produce子进程10992生产 girl_4
produce子进程8232生产 girl_3
consumer子进程11760消费 girl_1
consumer子进程9432消费 girl_2
consumer子进程9432消费 girl_4
consumer子进程9432消费 girl_3
produce子进程8232生产 girl_4
consumer子进程3584消费 girl_4
consumer子进程9432获取结束信号man
consumer子进程11760获取结束信号man
consumer子进程3584获取结束信号man
生产者消费者模型完毕~~~

Process finished with exit code 0

很赞哦！

python编程网提示：转载请注明来源www.python66.com。
有宝贵意见可添加站长微信(底部)，获取技术资料请到公众号(底部)。同行交流请加群