生成器(Generator)

生成器函数在调用时返回生成器对象,迭代推进到 yield 时产出一个值并暂停,下次从保存的状态继续。它适合按需计算的数据流。

一句话定义

生成器函数在调用时返回生成器对象,迭代推进到 yield 时产出一个值并暂停,下次从保存的状态继续。它适合按需计算的数据流。

为什么重要

  • 省内存:一次只产生一个元素,逐行处理日志时可以避免把完整文件装入内存,峰值取决于状态与缓冲。
  • 代码简洁:几行生成器替代几十行带 __iter__/__next__ 的迭代器类。
  • 流式处理的基础:数据管道、LLM 流式输出、大文件逐行处理、contextlib.contextmanager、早期的协程,都建立在生成器之上。

使用边界

惰性不等于恒定内存:生成器保存的局部变量、缓存、读取缓冲和下游收集操作都可能占用大量空间。sys.getsizeof 只量对象本身,不能代表整个处理管道的内存。

原理 / 图解

生成器由 PEP 255 引入(Python 2.2),send() 等增强见 PEP 342,yield from 见 PEP 380:https://peps.python.org/pep-0255/ 、https://peps.python.org/pep-0342/ 、https://peps.python.org/pep-0380/

调用生成器函数不会执行函数体,只返回一个生成器对象;每次 next() 才推进:

图 1

生成器管道(像 Unix 的 cat | grep | sort):

图 2

可运行示例

# 文件:examples/21_generator.py
# 生成器:用 yield 写的"惰性迭代器",按需产出,内存友好
import sys

def read_lines(n):
    for i in range(n):
        yield f"line {i}"            # 每次 next() 运行到这里暂停

lst = [f"line {i}" for i in range(100_000)]
gen = (f"line {i}" for i in range(100_000))
print("列表占用字节:", sys.getsizeof(lst), "| 生成器对象占用字节:", sys.getsizeof(gen))

# 生成器管道:像 Unix 管道一样逐条处理(AI 场景:流式处理大语料)
def parse(lines):
    for line in lines:
        yield line.upper()
def keep_even(lines):
    for line in lines:
        if int(line.split()[-1]) % 2 == 0:
            yield line
pipeline = keep_even(parse(read_lines(7)))
print("管道结果:", list(pipeline))

# 观察暂停/恢复
def demo():
    print("  → 开始"); yield 1
    print("  → 恢复"); yield 2
    print("  → 结束")
g = demo()
print("next:", next(g)); print("next:", next(g))
print("剩余:", list(g))

# yield from 委托;send 双向通信
def inner(): yield "a"; yield "b"
def outer(): yield from inner(); yield "c"
print("yield from:", list(outer()))

def running_avg():
    total, count, avg = 0, 0, None
    while True:
        x = yield avg
        total, count = total + x, count + 1
        avg = total / count
ra = running_avg(); next(ra)
print("send 求滑动平均:", [ra.send(v) for v in [10, 20, 60]])

一稿留存输出(Python 3.15.0):

列表占用字节: 800984 | 生成器对象占用字节: 216
管道结果: ['LINE 0', 'LINE 2', 'LINE 4', 'LINE 6']
  → 开始
next: 1
  → 恢复
next: 2
  → 结束
剩余: []
yield from: ['a', 'b', 'c']
send 求滑动平均: [10.0, 15.0, 30.0]
  • 示例比较列表外壳与生成器对象的浅层大小,列表数值元素与生成器引用状态没有被全部递归统计——这里的 getsizeof 只比较生成器对象的外壳,不包括它引用的全部状态。
  • “开始 / 恢复 / 结束”交替出现,直观展示了“暂停—恢复”。
  • send 让调用方可以往生成器里“传值”,实现了一个保留状态的滑动平均器。

常见误区

  • 生成器只能消费一次:和迭代器一样,用完就空(见 k1.py.iterator)。
  • 对生成器用 len() 或下标:不支持。需要就先 list(),但这样也失去了省内存的优势。
  • 以为调用生成器函数就执行了代码:函数体在第一次 next() 时才开始执行,因此其中的错误也会“延迟”出现。
  • 在生成器里打开资源却不关闭:如果消费者中途停止,生成器可能一直不被清理。配合 with 使用,或在生成器中使用 try/finally。
  • 用列表推导式处理超大数据:[f(x) for x in huge] 会一次性占满内存,改用生成器表达式 (f(x) for x in huge) 或直接 sum(f(x) for x in huge)。

与 AI 开发的关系

延伸阅读

理解检查

把生成器传给 list,是否仍保留省内存优势?

参考答案:结果会被完整收集;只有逐项消费且不积累全部结果时,才可能保持较低的峰值内存。

核验与复现

核验日期:2026-10-14。示例状态:运行通过。本轮日志:21_generator.py。

配套代码与核验资料

继续浏览基础 返回知识 →返回顶部 ↑
本篇目录
教程图解100%
教程图解