会员登录 - 用户注册 - 设为首页 - 加入收藏 - 网站地图 重新认识生成器Generator!

重新认识生成器Generator

时间:2025-11-05 06:35:31 来源:益强数据堂 作者:应用开发 阅读:175次

 

本文转载自微信公众号「小菜学编程」,重新作者fasionchan。认识转载本文请联系小菜学编程公众号。生成

基本用法

我们知道,重新函数体包含 yield 关键字的认识函数不是一个普通函数。这种函数叫做 生成器 ( generator ),生成一般用于循环处理结构,重新应用得当可以极大优化内存使用效率。认识例如,生成设计一个函数,重新打开文件并将每一行转成大写并返回:

def read_file_upper(path):     lines = []     with open(path) as f:         for line in f:             lines.append(line.upper())     return lines 

这个版本的认识函数,在内部创建了一个 list 对象,生成用于保存转换结果。重新for 循环则遍历文件每一行,认识将其转成大写并追加到列表中。生成这样一来,文件中的每一行均需要保存在列表中,如果文件很大,内存开销可想而知。

我们可以借助 yield 关键字,将 read_file_upper 函数改成生成器版本。函数主体逻辑没有任何变化,只是将每行数据的处理结果通过 yield 逐个返回,而不是收集到 list 对象后再返还。源码下载

def iter_file_upper(path):     with open(path) as f:         for line in f:             yield line.upper() 

如果现在有一个文本文件 data.txt ,里面包含以下内容:

hello, world life is short, use python my wechat id is: coding-fan bye 

用 iter_file_upper 生成器,我们可以这样对它进行处理:

>>> for line in iter_file_upper(text.txt): ...     print(line.strip()) HELLO, WORLD LIFE IS SHORT, USE PYTHON MY WECHAT ID IS: CODING-FAN BYE 

iter_file_upper 生成器用法与 read_file_upper 函数大致相同,但它不会一次性拿住文件所有数据行,而是逐行处理、逐个返回,这样便将内存使用量降到最低。

行为观察

那么,生成器为什么会有这样的奇效呢?我们接着观察:

>>> g = iter_file_upper(text.txt) >>> g <generator object iter_file_upper at 0x103becd68> 

我们调用 iter_file_upper 后,得到一个生成器对象,而不是文件处理结果,这时 iter_file_upper 还未开始执行。

当我们调用 next 函数从生成器接收下一个数据时,iter_file_upper 开始执行并在 yield 处停下来,并把第一行的处理结果返回给我们:

>>> next(g) HELLO, WORLD\n 

这时,生成器处于暂停状态,没有我们的指令,它不会接着处理第二行数据。

当我们再次执行 next 函数时,生成器再次恢复执行,处理下一行数据并在 yield 处再次暂停:

>>> next(g) LIFE IS SHORT, USE PYTHON\n 

生成器记住了自己的执行进度,每次调用 next 函数,它总是处理并生产下一个数据,云南idc服务商完全不用我们瞎操心:

>>> next(g) MY WECHAT ID IS: CODING-FAN\n >>> next(g) BYE\n 

当 iter_file_upper 代码逻辑执行完毕,它将给 next 抛一个异常,以此通知调用者它已经结束了:

>>> next(g) Traceback (most recent call last):   File "<stdin>", line 1, in <module> StopIteration 

因此,我们可以简单认为 for-in 循环在 Python 虚拟机内部是这样实现的:

不断调用 next 函数让生成器产出数据; 直到生成器抛出 StopIteration 异常;

在经典的线程模型中,每个线程有一个独立的执行流,只能执行一个任务。如果一个程序需要同时处理多个任务,可以借助 多进程 或者 多线程 技术。假设一个站点需要同时服务多个客户端连接,可以为每个连接创建一个独立的线程进行处理。

不管线程还是进程,切换时都会带来巨大的开销:用户态/内核态切换、执行上下文保存和恢复、CPU缓存刷新等等。因此,用线程或进程来驱动小任务的执行,显然不是一个理想的选择。

那么,除了线程和进程,还有其他解决方案吗?

免费源码下载

(责任编辑:数据库)

推荐内容
  • 电脑wis系统安装教程(电脑wis系统安装详解,助你提升工作效率与便捷性)
  • 怎样自己动手在windows 7中制作出个性的右键菜单图标
  • 抹去windows 7搜索记录不想让自己的搜索记录被别人看见
  • windows 7系统中双击U盘提示拒绝访问的有效解决方法
  • 微信文件大小限制解除所需时间(突破微信文件大小限制需要多久?)
  • 让程序在windows 7下始终以管理员身份运行的方法(图文教程)