迭代器(Iterator)与可迭代对象

可迭代对象能提供迭代器;迭代器保存当前位置,通过 next 逐项返回元素,并以 StopIteration 表示结束。迭代器本身也是可迭代对象。

一句话定义

可迭代对象能提供迭代器;迭代器保存当前位置,通过 next 逐项返回元素,并以 StopIteration 表示结束。迭代器本身也是可迭代对象。

为什么重要

  • Python 里的 for 循环全靠它:列表、字典、文件、数据库游标、DataLoader 都实现了迭代协议。
  • 惰性计算的基础:迭代器每次只产生一个元素,可以处理比内存大得多、甚至无限长的数据流。
  • **理解“为什么第二次遍历是空的”**这类常见 bug。

使用边界

“可迭代”不保证可以重新开始。容器通常能创建新迭代器,生成器、map 等则会被消费;文件可以通过 seek 改变位置。DataLoader 是否每轮打乱取决于 sampler 或 shuffle 设置。

原理 / 图解

迭代器协议:可迭代对象实现 __iter__() 返回迭代器;迭代器实现 __next__() 返回下一个元素,没有元素时抛出 StopIteration,并且其 __iter__() 返回自身:https://docs.python.org/3/library/stdtypes.html#iterator-types 、https://docs.python.org/3/glossary.html#term-iterator

图 1
概念 能否重复遍历 例子
可迭代对象(容器) 能,每次 iter() 得到新迭代器 list、dict、str、range
迭代器 通常不能从头重来;文件等可借助其他接口调整位置 iter(list)、文件对象、map、zip、生成器

可运行示例

# 文件:examples/20_iterator.py
# 迭代器协议:__iter__ 返回迭代器,__next__ 逐个产出,耗尽时抛 StopIteration
class Countdown:
    def __init__(self, start): self.current = start
    def __iter__(self): return self
    def __next__(self):
        if self.current <= 0:
            raise StopIteration
        self.current -= 1
        return self.current + 1

print("自定义迭代器:", list(Countdown(3)))

# for 循环在底层做了什么
it = iter(["a", "b"])
print(next(it), next(it))
try:
    next(it)
except StopIteration:
    print("耗尽 → StopIteration(for 循环会自动处理它)")

# 可迭代对象(iterable) vs 迭代器(iterator):迭代器只能走一遍
nums = [1, 2, 3]
it = iter(nums)
print("第一次:", list(it), "第二次:", list(it), "| 列表本身可重复遍历:", list(nums), list(nums))

# itertools:惰性组合
import itertools
print("前 5 个奇数平方:", list(itertools.islice((n * n for n in itertools.count(1, 2)), 5)))
print("分批:", list(itertools.batched(range(7), 3)))   # Python 3.12+

一稿留存输出(Python 3.15.0):

自定义迭代器: [3, 2, 1]
a b
耗尽 → StopIteration(for 循环会自动处理它)
第一次: [1, 2, 3] 第二次: [] | 列表本身可重复遍历: [1, 2, 3] [1, 2, 3]
前 5 个奇数平方: [1, 9, 25, 49, 81]
分批: [(0, 1, 2), (3, 4, 5), (6,)]

itertools.count 是无限迭代器,但配合 islice 只取前 5 个,所以不会死循环——这就是惰性的威力。itertools.batched 自 Python 3.12 起可用:https://docs.python.org/3/library/itertools.html#itertools.batched

常见误区

  • 把迭代器当列表用两次:m = map(f, xs) 后先 len(list(m)) 再 for x in m,第二次什么都没有。需要多次使用就先 list()。
  • 在遍历列表时修改它:边遍历边删除会跳过元素,应遍历副本或构造新列表。
  • 手写 __next__ 类:大多数情况下用生成器(见 k1.py.generator)更简洁。
  • 以为 range 是迭代器:range 是可迭代的序列,可以重复遍历、支持索引和 len。

与 AI 开发的关系

  • PyTorch DataLoader 是可迭代对象:每个 epoch for batch in loader 都会创建新的迭代器、按配置的 sampler 或 shuffle 规则产生数据。https://docs.pytorch.org/docs/stable/data.html
  • 流式数据集:Hugging Face datasets 的 streaming=True 返回 IterableDataset,可以不下载完整数据集就开始逐条处理。https://huggingface.co/docs/datasets/stream
  • 分批调用 API:用 itertools.batched(texts, 64) 把大量文本按批送去做嵌入(embedding),控制每次请求大小。
  • LLM 流式输出:SDK 返回的流对象通常是(同步或异步)迭代器,for chunk in stream 逐块拿到生成的文本。

延伸阅读

理解检查

对同一个生成器连续执行两次 list,第二次为什么为空?

参考答案:第一次已消费到结束;需要再次生成时应重新调用生成器函数,或保存第一次的结果。

核验与复现

核验日期:2026-10-14。示例状态:运行通过。本轮日志:20_iterator.py。

配套代码与核验资料

继续浏览基础 返回知识 →返回顶部 ↑
本篇目录
教程图解100%
教程图解