一句话定义
生成器函数在调用时返回生成器对象,迭代推进到 yield 时产出一个值并暂停,下次从保存的状态继续。它适合按需计算的数据流。
为什么重要
- 省内存:一次只产生一个元素,逐行处理日志时可以避免把完整文件装入内存,峰值取决于状态与缓冲。
- 代码简洁:几行生成器替代几十行带
__iter__/__next__的迭代器类。 - 流式处理的基础:数据管道、LLM 流式输出、大文件逐行处理、
contextlib.contextmanager、早期的协程,都建立在生成器之上。
使用边界
惰性不等于恒定内存:生成器保存的局部变量、缓存、读取缓冲和下游收集操作都可能占用大量空间。sys.getsizeof 只量对象本身,不能代表整个处理管道的内存。
原理 / 图解
生成器由 PEP 255 引入(Python 2.2),send() 等增强见 PEP 342,yield from 见 PEP 380:https://peps.python.org/pep-0255/ 、https://peps.python.org/pep-0342/ 、https://peps.python.org/pep-0380/
调用生成器函数不会执行函数体,只返回一个生成器对象;每次 next() 才推进:
生成器管道(像 Unix 的 cat | grep | sort):
可运行示例
# 文件:examples/21_generator.py
# 生成器:用 yield 写的"惰性迭代器",按需产出,内存友好
import sys
def read_lines(n):
for i in range(n):
yield f"line {i}" # 每次 next() 运行到这里暂停
lst = [f"line {i}" for i in range(100_000)]
gen = (f"line {i}" for i in range(100_000))
print("列表占用字节:", sys.getsizeof(lst), "| 生成器对象占用字节:", sys.getsizeof(gen))
# 生成器管道:像 Unix 管道一样逐条处理(AI 场景:流式处理大语料)
def parse(lines):
for line in lines:
yield line.upper()
def keep_even(lines):
for line in lines:
if int(line.split()[-1]) % 2 == 0:
yield line
pipeline = keep_even(parse(read_lines(7)))
print("管道结果:", list(pipeline))
# 观察暂停/恢复
def demo():
print(" → 开始"); yield 1
print(" → 恢复"); yield 2
print(" → 结束")
g = demo()
print("next:", next(g)); print("next:", next(g))
print("剩余:", list(g))
# yield from 委托;send 双向通信
def inner(): yield "a"; yield "b"
def outer(): yield from inner(); yield "c"
print("yield from:", list(outer()))
def running_avg():
total, count, avg = 0, 0, None
while True:
x = yield avg
total, count = total + x, count + 1
avg = total / count
ra = running_avg(); next(ra)
print("send 求滑动平均:", [ra.send(v) for v in [10, 20, 60]])
一稿留存输出(Python 3.15.0):
列表占用字节: 800984 | 生成器对象占用字节: 216
管道结果: ['LINE 0', 'LINE 2', 'LINE 4', 'LINE 6']
→ 开始
next: 1
→ 恢复
next: 2
→ 结束
剩余: []
yield from: ['a', 'b', 'c']
send 求滑动平均: [10.0, 15.0, 30.0]
- 示例比较列表外壳与生成器对象的浅层大小,列表数值元素与生成器引用状态没有被全部递归统计——这里的 getsizeof 只比较生成器对象的外壳,不包括它引用的全部状态。
- “开始 / 恢复 / 结束”交替出现,直观展示了“暂停—恢复”。
send让调用方可以往生成器里“传值”,实现了一个保留状态的滑动平均器。
常见误区
- 生成器只能消费一次:和迭代器一样,用完就空(见 k1.py.iterator)。
- 对生成器用
len()或下标:不支持。需要就先list(),但这样也失去了省内存的优势。 - 以为调用生成器函数就执行了代码:函数体在第一次
next()时才开始执行,因此其中的错误也会“延迟”出现。 - 在生成器里打开资源却不关闭:如果消费者中途停止,生成器可能一直不被清理。配合
with使用,或在生成器中使用try/finally。 - 用列表推导式处理超大数据:
[f(x) for x in huge]会一次性占满内存,改用生成器表达式(f(x) for x in huge)或直接sum(f(x) for x in huge)。
与 AI 开发的关系
- LLM 流式输出:Web 框架(FastAPI 的
StreamingResponse、Streamlit 的st.write_stream)都接受生成器,把模型逐 token 产生的文本逐块推给前端。Streamlitst.write_stream:https://docs.streamlit.io/develop/api-reference/write-magic/st.write_stream - 大语料预处理:逐行读取 JSONL、清洗、分词、写出,全程不把语料完整装入内存。
- 自定义 PyTorch
IterableDataset:__iter__通常写成生成器。https://docs.pytorch.org/docs/stable/data.html#iterable-style-datasets - Agent 的事件流:很多 Agent 框架用(异步)生成器逐步产出“思考—工具调用—结果”事件,供前端实时展示。
延伸阅读
- 术语表 generator:https://docs.python.org/3/glossary.html#term-generator
- 函数式 HOWTO·生成器一节:https://docs.python.org/3/howto/functional.html#generators
- PEP 289 – 生成器表达式:https://peps.python.org/pep-0289/
理解检查
把生成器传给 list,是否仍保留省内存优势?
参考答案:结果会被完整收集;只有逐项消费且不积累全部结果时,才可能保持较低的峰值内存。
核验与复现
核验日期:2026-10-14。示例状态:运行通过。本轮日志:21_generator.py。
配套代码与核验资料