1、生成器Generator

设想我们有一个包含100万个元素的列表，列表占用了很大的存储空间，如果我们仅仅需要访问前面的几个元素，这样就会造成极大的资源浪费。

所以，如果有一种对象，存储的不是具体的列表元素，而是计算列表元素的方法，在我们需要的时候，可以计算出相应的元素，那么资源浪费的问题就结局了。在Python中，这种一边循环一边计算的机制，称为生成器：generator。

generator保存的是算法，我们可以每次调用next(g)，就计算出g的下一个元素的值，直到计算到最后一个元素，没有更多的元素时，抛出StopIteration的错误。但是实际中，我们基本上不太会调用next方法，而是使用for循环，在本文的最后，我们可以看到为什么要这么做。

有两种构造Generator的方法，我们一一道来：

1.1 生成器表达式"()"

看下面的代码：

L = [x * x for x in range(10)]
g = (x * x for x in range(10))
L,g

输出如下：

([0, 1, 4, 9, 16, 25, 36, 49, 64, 81],
 <generator object <genexpr> at 0x106ccb678>)

可以看到，创建L和g的区别仅在于最外层的[]和()，L是一个list，而g是一个generator。

我们可以通过for循环来遍历generator：

for n in g:
    print(n)

1.2 方法体里加上yield关键词

如果一个函数定义中包含yield关键字，那么这个函数就不再是一个普通函数，而是一个generator。

generator和函数的执行流程不一样。函数是顺序执行，遇到return语句或者最后一行函数语句就返回。而变成generator的函数，在每次调用next()的时候执行，遇到yield语句返回，再次执行时从上次返回的yield语句处继续执行，观察下面的例子。

def fib(max):
    n,a,b = 0,0,1
    while n < max:
        yield b
        a,b = b,a+b
        n += 1
    return 'finish'
for t in fib(6):
    print(t)

但是用for循环调用generator时，发现拿不到generator的return语句的返回值。如果想要拿到返回值，必须捕获StopIteration错误，返回值包含在StopIteration的value中：

g = fib(6)
while True:
    try:
        x = next(g)
        print("g:",x)
    except StopIteration as e:
        print("Generator's return value is:",e.value)
        break

2、可迭代对象Iterable

可以直接作用于for循环的对象统称为可迭代对象Iterable，主要有两种类型：

一类是集合数据类型，如list、tuple、dict、set、str等；
一类是generator，包括生成器表达式和带yield的generator function。

可以使用isinstance()判断一个对象是否是Iterable对象：

from collections import Iterable
print(isinstance([],Iterable)) # True
print(isinstance('abc',Iterable)) # True
print(isinstance((x*x for x in range(10)),Iterable)) # True
print(isinstance(100,Iterable)) # False

3、迭代器Iterator

可以被next()函数调用并不断返回下一个值的对象称为迭代器：Iterator。生成器都是Iterator对象，但list、dict、str虽然是Iterable，却不是Iterator。 不过把list、dict、str等Iterable变成Iterator可以使用iter()函数。

from collections import Iterator
print(isinstance((x for x in range(10)), Iterator)) # True
print(isinstance([], Iterator)) # False
print(isinstance({}, Iterator)) # False
print(isinstance('abc',Iterator)) # False
print(isinstance(iter('abc'), Iterator)) # True

你可能会问，为什么list、dict、str等数据类型不是Iterator？这是因为Python的Iterator对象表示的是一个数据流，Iterator对象可以被next()函数调用并不断返回下一个数据，直到没有数据时抛出StopIteration错误。可以把这个数据流看做是一个有序序列，但我们却不能提前知道序列的长度，只能不断通过next()函数实现按需计算下一个数据，所以Iterator的计算是惰性的，只有在需要返回下一个数据时它才会计算。

4、Python for循环的本质

Python的for循环本质上就是通过不断调用next()函数实现的。
下面的代码：

for x in [1, 2, 3, 4, 5]:
    pass

等价于：

# 首先获得Iterator对象:
it = iter([1, 2, 3, 4, 5])
# 循环:
while True:
    try:
        # 获得下一个值:
        x = next(it)
    except StopIteration:
        # 遇到StopIteration就退出循环
        break

5、总结

1、凡是可作用于for循环的对象都是Iterable类型；包括集合数据类型和Generator。
2、凡是可作用于next()函数的对象都是Iterator类型，它们表示一个惰性计算的序列；
3、集合数据类型如list、dict、str等是Iterable但不是Iterator，不过可以通过iter()函数获得一个Iterator对象。

参考文献：

1、https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/00143178254193589df9c612d2449618ea460e7a672a366000
2、https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/0014317799226173f45ce40636141b6abc8424e12b5fb27000
3、https://blog.csdn.net/zwan0518/article/details/45026497