复杂度 n=1000 n=2000 倍数
O(1) 0.3µs 0.1µs 0.3
O(log n) 1.0µs 0.8µs 0.8
O(n) 2156.8µs 4334.4µs 2.0
O(n log n) 4868.4µs 11602.0µs 2.4
O(n^2) 33093.7µs 137109.8µs 4.1
理论倍数:O(1)≈1, O(log n)≈1.1, O(n)≈2, O(n log n)≈2.1, O(n^2)≈4(实测受缓存和常数影响)
n log n n log n n^2 2^n
10 3.3 33 1e+02 1.0e+03
100 6.6 664 1e+04 1.3e+30
1000 10.0 9966 1e+06 1.1e+301
1000000 19.9 19931569 1e+12 天文数字
上下文 1024 tokens:注意力分数矩阵有 1,048,576 个元素
上下文 8192 tokens:注意力分数矩阵有 67,108,864 个元素
上下文 131072 tokens:注意力分数矩阵有 17,179,869,184 个元素
核验记录:18_big_o.txt
与教程配套的原始示例或核验资料,保留完整内容;其中真实用户目录已脱敏,运行范围以记录本身为准。