主要内容有：
1，AJAX 技术介绍
2，JSON介绍与应用
3，异步GET与POST请求
4，特殊的异步加载
5，多次请求的异步加载
6，基于异步加载的简单登录

7.1 异步加载

7.1.1 AJAX技术介绍
AJAX是Asynchronous JavaScript And XML的首字母缩写，意为异步JavaScript与XML。使用AJAX技术，可以在不刷新网页的情况下更新网页数据。使用AJAX技术的网页，一般会使用HTML编写网页的框架。在打开网页的时候，首先加载的是这个框架。剩下的部分将会在框架加载完成以后再通过JavaScript从后台加载。

如何判断一个网页有没有使用AJAX技术呢？请访问http://exercise.kingname.info/exercise_ajax_1.html，这个页面用浏览器访问的结果如图7-1所示。

图7-1 异步加载练习页面1

但是如果检查它的源代码，会发现源代码里面并没有网页上面显示的这两段文字，如图7-2所示。

图7-2 使用异步加载技术的网页，数据不在源代码中

像这种网页上面存在的某些文字，在源代码中却不存在的情况，绝大部分都是使用了异步加载技术。

7.1.2 JSON介绍与应用

JSON是一种格式化字符串。JSON字符串与Python的字典或者列表非常相似，仅存在一些细微差别。

为什么需要JSON这种字符串呢？举一个例子：一个会英语不会德语的中国人，和一个会英文不会中文的德国人，他们可以使用英语愉快地交谈。英语在他们的交流中扮演了一个中介的角色。JSON在网络通信里面就是这个中介。

JSON的全称是JavaScript Object Notation，是一种轻量级的数据交换格式。网络之间使用HTTP方式传递数据的时候，绝大多数情况下传递的都是字符串。因此，当需要把Python里面的数据发送给网页或者其他编程语言的时候，可以先将Python的数据转化为JSON格式的字符串，然后将字符串传递给其他语言，其他语言再将JSON格式的字符串转换为它自己的数据格式。

为了直观地观察一个JSON格式的字符串，先在Python中初始化一个字典：

    person = {
      'basic_info': {'name': 'kingname',
              'age': 24,
              'sex': 'male',
              'merry': False},
      'work_info': {'salary': 99999,
              'position': 'engineer',
              'department': None}
      }

Python中处理JSON格式字符串的库，名字为json。为了将这个字典转换为JSON格式的字符串，需要先导入这个库：

import json

使用下面这一行代码可以将字典转换为JSON格式字符串：

person_json = json.dumps(person)

打印出person_json，可以看到转换以后的JSON格式字符串为：

{"basic_info": {"name": "kingname", "age": 24, "sex": "male", "merry": false}, "work_info": {"salary": 99999, "position":

"engineer", "department": null}}

Python的None，在JSON中会变成null; Python的True和False在JSON中会变成true和false; JSON的字符串总是使用双引号，中文在JSON中会变成Unicode码。除此以外，Python字典和JSON字符串都是一样的。为了让JSON格式的字符串更便于人阅读，可以进行缩进。使用如下代码可为JSON格式的字符串添加4个空格的缩进：

person_json_indent = json.dumps(person, indent=4)

可以得到：

    {
      "basic_info": {
          "name": "kingname",
          "age": 24,
          "sex": "male",
          "merry": false
      },
      "work_info": {
          "salary": 99999,
          "position": "engineer",
          "department": null
      }
    }

不仅是字典，Python中的列表或者包含字典的列表，也可以转换为JSON格式的字符串，如图7-3所示。

图7-3 将包含字典的列表转换为JSON格式的字符串

如果要把JSON格式的字符串转换为Python的字典或者列表，只需要使用一行代码即可：

person_dict = json.loads(person_json_indent)

这里得到的person_dict就是一个字典，可以像使用普通字典一样来使用它，如图7-4所示。

图7-4 把JSON格式的字符串转换为字典

7.1.3 异步GET与POST请求

使用异步加载技术的网站，被加载的内容是不能在源代码中找到的。对于这种情况，应该如何抓取被加载的内容呢？

为了解决这个问题，就需要使用Google Chrome浏览器的开发者模式。在网页上单击右键，选择“检查”命令，然后定位到“Network”选项卡，如图7-5所示。

图7-5 打开Google Chrome开发者工具

V7-1 JSON的生成与解析

接下来需要刷新网页。在Windows下，按F5键或者单击地址栏左边的“刷新”按钮，在Mac OS下，按Shift+Command+R组合键或者单击地址栏左边的“刷新”按钮。刷新以后，可以看到“Network”选项卡下面出现了一些内容，如图7-6所示。

图7-6 刷新网页以后，“Network”选项卡下出现的内容

单击“Network”选项卡下面出现的“ajax_1_backend”和“ajax_1_postbackend”，并定位到“Response”选项卡，可以看到这里出现了网页上面的内容，如图7-7和图7-8所示。

图7-7 被异步加载的数据之一，使用GET方式

图7-8 被异步加载的数据之二，使用POST方式

再选择“Headers”选项卡，可以看到这个请求使用GET方式，发送到http://exercise.kingname.info/ajax_1_backend，其头部信息如图7-9所示。

图7-9 使用GET方式的异步请求的头部信息

于是，尝试使用requests发送这个请求，即可成功获取到网页上的第1条内容，如图7-10所示。

图7-10 使用requests获得被异步加载的信息

对于网页中的第2条内容，查看“Headers”选项卡，可以看到，这是使用POST方式向http://exercise.kingname.info/ajax_1_postbackend发送请求，并以JSON格式提交数据，其头部信息如图7-11所示。

图7-11 使用POST方式的异步请求的头部信息

使用requests发送这个请求，也成功地获取了网页上面的第2条信息。通过修改请求的数据内容，还能够修改网页的返回内容，如图7-12所示。

图7-12 使用requests模拟发送POST请求获取第2条异步加载内容

7.1.4 特殊的异步加载

7.1.3小节中介绍的是最常见、最简单的异步加载情况，但并非所有的异步加载都会向后台发送请求。打开AJAX的第2个练习页面，可以看到页面上有图7-13所示的内容。

图7-13 异步加载练习页面2

分析Chrome开发者工具的“Network”选项卡下面的内容，可以看到整个页面的打开过程并没有尝试请求后台的行为。其中的exercise_ajax_2.html就是这个页面自身，而jquery-3.2.1.min.js是jQuery的库，都不是对后台的请求。打开网页源代码可以看到，确实没有“天王盖地虎”这几个汉字，如图7-14所示。

图7-14 网页源代码中确实没有网页中的内容

那么这个页面上的汉字到底是从哪里加载进来的？这种情况称为伪装成异步加载的后端渲染。数据就在源代码里，但却不直接显示出来。注意，源代码最下面的JavaScript代码，其中有一段：

   {"code": "\u884c\u52a8\u4ee3\u53f7\uff1a\u5929\u738b\u76d6\u5730\u864e"}

其外形看起来有点像JSON格式的字符串。尝试使用Python去解析，发现可以得到网页上面的内容，如图7-15所示。

图7-15 解析JSON字符串得到网页上显示的内容

这种假的异步加载页面，其处理思路一般是使用正则表达式从页面中把数据提取出来，然后直接解析。对于异步加载练习页面2，完整的处理代码为：

    import json
    import requests
    import re

    url = 'http://exercise.kingname.info/exercise_ajax_2.html'
    html = requests.get(url).content.decode()
    code_json = re.search("secret = '(.*? )'", html, re.S).group(1)
    code_dict = json.loads(code_json)
    print(code_dict['code'])

运行后的结果如图7-16所示。

图7-16 获取假异步加载的数据

7.1.5 多次请求的异步加载

还有一些网页，显示在页面上的内容要经过多次异步请求才能得到。第1个AJAX请求返回的是第2个请求的参数，第2个请求的返回内容又是第3个请求的参数，只有得到了上一个请求里面的有用信息，才能发起下一个请求。
打开异步加载练习页3，页面内容如图7-17所示。

图7-17 异步加载练习页面3

图7-18 通过Chrome开发者工具找到页面信息的来源

图7-19 使用Python解析发现请求返回的内容确实是页面内容

图7-20 分析请求的body信息发现两个奇怪参数secret1和secret2

图7-21 修改secret1或者secret2发现不能得到想要的结果

打开这个练习页的源代码，在源代码中可以找到secret_2，如图7-22所示。虽然在POST参数中，名字是secret2，而源代码中的名字是secret_2，不过从值可以看出这就是同一个参数。

图7-22 在源代码中找到secret_2

源代码里面没有secret1，因此就要考虑这个参数是不是来自于另一个异步请求。继续在开发者工具中查看其他请求，可以成功找到secret1，如图7-23所示。注意，它的名字变为了“code”，但是从值可以看出这就是secret1。不少网站也会使用这种改名字的方式来迷惑爬虫开发者。

图7-23 在另一个异步请求里面发现了secret1

这一条请求就是一个不带任何参数的GET请求，请求的头部信息如图7-24所示。

图7-24 获得secret1的请求的头部信息

对于这种多次请求才能得到数据的情况，解决办法就是逐一请求，得到返回结果以后再发起下一个请求。具体到这个例子中，那就是先从源代码里面获得secret2，再通过GET请求得到secret1，最后使用secret1和secret2来获取页面上显示的内容。

使用Python来实现这个过程，代码和运行结果如图7-25所示。

图7-25 使用Python模拟多次异步请求并获得页面上的值

7.1.6 基于异步加载的简单登录

网站的登录方式有很多种，其中有一种比较简单的方式，就是使用AJAX发送请求来进行登录。请打开AJAX第4个练习页http://exercise.kingname.info/exercise_ajax_4.html，这个页面实现了简单的登录功能。页面打开以后的效果如图7-26所示。

图7-26 使用异步加载实现的登录页面

根据输入框中的提示，使用用户名“kingname”和密码“genius”进行登录，可以看到登录成功以后弹出图7-27所示的提示框。

图7-27 登录成功后弹出的提示框

对于这种简单的登录功能，可以使用抓取异步加载网页的方式来进行处理。在Chrome开发者工具中可以发现，当单击“登录”按钮时，网页向后台发送了一条请求，如图7-28所示。

图7-28 登录过程实际上是一个异步的请求

这条请求返回的内容就是“通关口令”。再来看看这个请求发送了哪些数据，如图7-29所示。

图7-29 登录请求发送的数据

这就是使用POST方式的最简单的AJAX请求。使用获取POST方式的AJAX请求的代码，就能成功获取到登录以后返回的内容，如图7-30所示。

图7-30 使用AJAX请求获得登录返回的内容

本文为读书笔记，方便以后快速查看，摘录自《python爬虫开发：从入门到实践》：