Python协程

由于Golang的goroutine太过简单易用，我再次尝试了一遍Python的asyncio。

1. 简介

协程，英文叫作 Coroutine，又称微线程、纤程，协程是一种用户态的轻量级线程。

协程拥有自己的寄存器上下文和栈。协程调度切换时，将寄存器上下文和栈保存到其他地方，在切回来的时候，恢复先前保存的寄存器上下文和栈。因此协程能保留上一次调用时的状态，即所有局部状态的一个特定组合，每次过程重入时，就相当于进入上一次调用的状态。

协程本质上是个单进程，协程相对于多进程来说，无需线程上下文切换的开销，无需原子操作锁定及同步的开销，编程模型也非常简单。

我们可以使用协程来实现异步操作，比如在网络爬虫场景下，我们发出一个请求之后，需要等待一定的时间才能得到响应，但其实在这个等待过程中，程序可以干许多其他的事情，等到响应得到之后才切换回来继续处理，这样可以充分利用 CPU 和其他资源，这就是协程的优势。

1.1. 协程相对于多线程的优点

多线程编程是比较困难的，因为调度程序任何时候都能中断线程， 必须记住保留锁，去保护程序中重要部分， 防止多线程在执行的过程中断。

而协程默认会做好全方位保护， 以防止中断。我们必须显示产出才能让程序的余下部分运行。对协程来说， 无需保留锁， 而在多个线程之间同步操作， 协程自身就会同步， 因为在任意时刻， 只有一个协程运行。总结下大概下面几点：

• 无需系统内核的上下文切换，减小开销；
• 无需原子操作锁定及同步的开销，不用担心资源共享的问题；
• 单线程即可实现高并发，单核 CPU 即便支持上万的协程都不是问题，所以很适合用于高并发处理，尤其是在应用在网络爬虫中。

2. 操作

homepage

Python协程还不理解？请收下这份超详细的异步编程教程

相比于Golang中的goroutine，Python的协程还需要理解下面几个概念。

• event_loop：事件循环，相当于一个无限循环，我们可以把一些函数注册到这个事件循环上，当满足条件发生的时候，就会调用对应的处理方法。
• coroutine：中文翻译叫协程，在 Python 中常指代为协程对象类型，我们可以将协程对象注册到事件循环中，它会被事件循环调用。我们可以使用 async 关键字来定义一个方法，这个方法在调用时不会立即被执行，而是返回一个协程对象。
• task：任务，它是对协程对象的进一步封装，包含了任务的各个状态。
• future：代表将来执行或没有执行的任务的结果，实际上和 task 没有本质区别。

另外我们还需要了解 async/await 关键字，它是从 Python 3.5 才出现的，专门用于定义协程。其中，async 定义一个协程，await ## 用来挂起阻塞方法的执行。

2.1. 定义异步函数

• 使用 async def function(params)
• 使用 await 定义IO操作（Python通过该关键字在耗时的IO运算上切换协程，并自动监听）

async def say_after(delay, what):
    await asyncio.sleep(delay)
    print(what)

async def main():
    print(f"started at {time.strftime(‘%X‘)}")

    await say_after(1, ‘hello‘)
    await say_after(2, ‘world‘)

    print(f"finished at {time.strftime(‘%X‘)}")

2.2. 任务 & 事件循环

homepage

• 创建任务
  • asyncio.create_task() # Python 3.7
  • asyncio.ensure_future() # Python 3.7 之前
• 创建事件循环
  • loop = asyncio.get_event_loop()
  • task = loop.create_task(coroutine)
  • loop.run_until_complete(future)
  • loop.run_forever() 运行事件循环直到 stop() 被调用。
  • loop.stop()

async def coro():
    ...

async def main():
    # In Python 3.7+
    task = asyncio.create_task(coro())
    ...

    # This works in all Python versions but is less readable
    task = asyncio.ensure_future(coro())

    await task  # 简单等待（挂起当前协程并切换IO）直到完成，程序继续
    ...

asyncio.run(main())

2.3. Task回调

add_done_callback(callback, *, context=None)

添加一个回调，将在 Task 对象完成时被运行。

2.4. 运行 asyncio 程序

async def main():
    await asyncio.sleep(1)
    print(‘hello‘)

asyncio.run(main())

2.5. 简单等待

coroutine asyncio.wait(aws, *, loop=None, timeout=None, return_when=ALL_COMPLETED)

并发运行 aws 指定的 可等待对象 并阻塞线程直到满足 return_when 指定的条件。返回 Task/Future 集合: (done, pending) 。

注意：【Python3.8】直接向 wait() 传入协程对象的方式已弃用。

最新推荐用法：

async def foo():
    return 42

task = asyncio.create_task(foo())
done, pending = await asyncio.wait({task})

if task in done:
    # Everything will work as expected now.

Python协程

原文：https://www.cnblogs.com/brt2/p/13340608.html