一句话定义
可迭代对象能提供迭代器;迭代器保存当前位置,通过 next 逐项返回元素,并以 StopIteration 表示结束。迭代器本身也是可迭代对象。
为什么重要
- Python 里的
for循环全靠它:列表、字典、文件、数据库游标、DataLoader 都实现了迭代协议。 - 惰性计算的基础:迭代器每次只产生一个元素,可以处理比内存大得多、甚至无限长的数据流。
- **理解“为什么第二次遍历是空的”**这类常见 bug。
使用边界
“可迭代”不保证可以重新开始。容器通常能创建新迭代器,生成器、map 等则会被消费;文件可以通过 seek 改变位置。DataLoader 是否每轮打乱取决于 sampler 或 shuffle 设置。
原理 / 图解
迭代器协议:可迭代对象实现 __iter__() 返回迭代器;迭代器实现 __next__() 返回下一个元素,没有元素时抛出 StopIteration,并且其 __iter__() 返回自身:https://docs.python.org/3/library/stdtypes.html#iterator-types 、https://docs.python.org/3/glossary.html#term-iterator
| 概念 | 能否重复遍历 | 例子 |
|---|---|---|
| 可迭代对象(容器) | 能,每次 iter() 得到新迭代器 |
list、dict、str、range |
| 迭代器 | 通常不能从头重来;文件等可借助其他接口调整位置 | iter(list)、文件对象、map、zip、生成器 |
可运行示例
# 文件:examples/20_iterator.py
# 迭代器协议:__iter__ 返回迭代器,__next__ 逐个产出,耗尽时抛 StopIteration
class Countdown:
def __init__(self, start): self.current = start
def __iter__(self): return self
def __next__(self):
if self.current <= 0:
raise StopIteration
self.current -= 1
return self.current + 1
print("自定义迭代器:", list(Countdown(3)))
# for 循环在底层做了什么
it = iter(["a", "b"])
print(next(it), next(it))
try:
next(it)
except StopIteration:
print("耗尽 → StopIteration(for 循环会自动处理它)")
# 可迭代对象(iterable) vs 迭代器(iterator):迭代器只能走一遍
nums = [1, 2, 3]
it = iter(nums)
print("第一次:", list(it), "第二次:", list(it), "| 列表本身可重复遍历:", list(nums), list(nums))
# itertools:惰性组合
import itertools
print("前 5 个奇数平方:", list(itertools.islice((n * n for n in itertools.count(1, 2)), 5)))
print("分批:", list(itertools.batched(range(7), 3))) # Python 3.12+
一稿留存输出(Python 3.15.0):
自定义迭代器: [3, 2, 1]
a b
耗尽 → StopIteration(for 循环会自动处理它)
第一次: [1, 2, 3] 第二次: [] | 列表本身可重复遍历: [1, 2, 3] [1, 2, 3]
前 5 个奇数平方: [1, 9, 25, 49, 81]
分批: [(0, 1, 2), (3, 4, 5), (6,)]
itertools.count 是无限迭代器,但配合 islice 只取前 5 个,所以不会死循环——这就是惰性的威力。itertools.batched 自 Python 3.12 起可用:https://docs.python.org/3/library/itertools.html#itertools.batched
常见误区
- 把迭代器当列表用两次:
m = map(f, xs)后先len(list(m))再for x in m,第二次什么都没有。需要多次使用就先list()。 - 在遍历列表时修改它:边遍历边删除会跳过元素,应遍历副本或构造新列表。
- 手写
__next__类:大多数情况下用生成器(见 k1.py.generator)更简洁。 - 以为
range是迭代器:range是可迭代的序列,可以重复遍历、支持索引和len。
与 AI 开发的关系
- PyTorch
DataLoader是可迭代对象:每个 epochfor batch in loader都会创建新的迭代器、按配置的 sampler 或 shuffle 规则产生数据。https://docs.pytorch.org/docs/stable/data.html - 流式数据集:Hugging Face
datasets的streaming=True返回IterableDataset,可以不下载完整数据集就开始逐条处理。https://huggingface.co/docs/datasets/stream - 分批调用 API:用
itertools.batched(texts, 64)把大量文本按批送去做嵌入(embedding),控制每次请求大小。 - LLM 流式输出:SDK 返回的流对象通常是(同步或异步)迭代器,
for chunk in stream逐块拿到生成的文本。
延伸阅读
- 迭代器类型:https://docs.python.org/3/library/stdtypes.html#iterator-types
itertools:https://docs.python.org/3/library/itertools.html- PEP 234 – Iterators:https://peps.python.org/pep-0234/
理解检查
对同一个生成器连续执行两次 list,第二次为什么为空?
参考答案:第一次已消费到结束;需要再次生成时应重新调用生成器函数,或保存第一次的结果。
核验与复现
核验日期:2026-10-14。示例状态:运行通过。本轮日志:20_iterator.py。
配套代码与核验资料