Python 异步调用命令行工具

当你在自己的 Python 程序中采用了基于事件循环的异步编程方法之后,你就会发现自己不自觉地被其牢牢吸引住,并不是说这一方法多么棒,而是因为你不得不想办法保证程序中的任意环节都不能是阻塞的!

例如当前的场景是希望从 MongoDB 中读取每一条未处理过的数据,下载并保存其中的图片信息,然后更新数据库的内容。Python 常用的 MongoDB 异步驱动是 Motor:

结合 asyncio 使用方法如下:

此时如果 dl_img() 处的操作是阻塞的,那么异步处理就没有意义了。当然这里依然可以借助异步网络请求库 aiohttp 来实现图片下载:

当然也可以不需要自己动手下载,直接调用系统命令行工具(例如 wget)来完成下载任务。Python 通过 subprocess 标准库实现系统命令调用(取代旧的os.system(cmd)),执行下载任务只需要:

但是这种调用方式是无法直接在asyncio的事件循环中使用的,但是asyncio提供了对应的 subprocess接口

这两个方法均返回一个 asyncio.subprocess.Process 实例,而它的接口设计完全模仿了 subprocess.Popen(上面提到 subprocess.run()的底层实现),因此很容易将其用法移植到事件循环中:

除了上面场景中的用法,也可以直接将命令行的执行作为任务放入事件循环:

小结

在 Python 异步编程的意义就在于不要让 CPU 堵在 IO 上,因此需要在每一处涉及到阻塞的操作都需要注意使用正确的异步方法,而一旦这些操作被封装成异步的 Task 之后,其后续的调度执行就无需再顾虑了。

打赏支持我写出更多好文章,谢谢!

打赏作者

打赏支持我写出更多好文章,谢谢!

1 2 收藏 评论

关于作者:Yusheng

关注微信公众号 PyHub! 个人主页 · 我的文章 · 24 ·   

相关文章

可能感兴趣的话题



直接登录
跳到底部
返回顶部