Charles简介
Charles 是在 Mac 下常用的网络封包截取工具,在做移动开发时,我们为了调试与服务器端的网络通讯协议,常常需要截取网络封包来分析。Charles 通过将自己设置成系统的网络访问代理服务器,使得所有的网络访问请求都通过它来完成,从而实现了网络封包的截取和分析。除了在做移动开发中调试端口外,Charles 也可以用于分析第三方应用的通讯协议。配合 Charles 的 SSL 功能,Charles 还可以分析 Https 协议。
Charles 主要的功能包括:
1、截取 Http 和 Https 网络封包。
2、支持重发网络请求,方便后端调试。
3、支持修改网络请求参数。
4、支持网络请求的截获并动态修改。
5、支持模拟慢速网络。
Charles 4 新增的主要功能包括:
1、支持 Http 2。
2、支持 IPv6。
将 Charles 设置成系统代理
Charles 是通过将自己设置成代理服务器来完成封包截取的,所以使用 Charles 的第一步是将其设置成系统的代理服务器。选择菜单中的 “Proxy” -> “macOS Proxy” 来将 Charles 设置成系统代理。使macOS Proxy处于勾选状态。如下所示:
Charles 主要提供两种查看封包的视图,分别名为 “Structure” 和 “Sequence”。
Structure 视图将网络请求按访问的域名分类。
Sequence 视图将网络请求按访问的时间排序。
其中,Sequence视图下提供Filter功能,可以输入关键字来快速筛选出 URL 中带指定关键字的网络请求。
过滤网络请求
如果我们需要对网络请求进行过滤,只监控向指定目录服务器上发送的请求,可使用以下三种方法之一进行过滤:
方法一:
在Sequence视图的Filter中填入需要过滤的关键字,例如需要过滤的服务器地址是:https://www.baidu.com 则只需要在Filter中填入baidu即可。
方法二:
在 Charles 的菜单栏选择 “Proxy”->”Recording Settings”,然后选择 Include 栏,选择添加一个项目,然后填入需要监控的协议,主机地址,端口号。这样就可以只截取目标网站的封包了。
通常情况下,我们使用方法一做一些临时性的封包过滤,使用方法二做一些经常性的封包过滤。
方法三:
在想过滤的网络请求上右击,选择 “Focus”,之后在 Filter 一栏勾选上 Focussed 一项,这种方式可以临时性的,快速地过滤出一些没有通过关键字的一类网络请求。
截取 Https 通讯信息
一、截取本地上的https网络封包
如果你需要截取分析 Https 协议相关的内容。那么需要安装 Charles 的 CA 证书。具体步骤如下:
1)首先我们需要在 Mac 电脑上安装证书。选择 “Help” -> “SSL Proxying” -> “Install Charles Root Certificate”。
2)安装完在Mac的”钥匙串访问“中可看到Charles证书。但是此证书是不被信任的,要双击Charles证书进行信任操作。
在经上述处理后,CA证书就变为信任证书了。
二、截取移动设备iPhone上的https网络封包
a. 在iPhone设备未安装CA证书的情况下,只能截取http协议的通讯内容,其设置步骤如下:
1) 在Charles上进行Proxy的设置:
要截取 iPhone 上的网络请求,我们首先需要将 Charles 的代理功能打开。在 Charles 的菜单栏上选择 “Proxy”->”Proxy Settings”,填入代理端口 8888,并且勾上 “Enable transparent HTTP proxying” 就完成了在 Charles 上的设置。如下图所示:
2)在iPhone上进行HTTP代理的设置(即将Charles设置为iPhone的HTTP代理)
首先我们需要获取 Charles 运行所在电脑的 IP 地址,Charles 的顶部菜单的 “Help”->”Local IP Address”,即可在弹出的对话框中看到 IP 地址,如下图所示:
在 iPhone 的 “ 设置 “->” 无线局域网 “ 中,可以看到当前连接的 WiFi 名称,点击右边的详情按钮,可以看到当前连接上的 WiFi 的详细信息,包括 IP 地址,子网掩码等信息。在其最底部有“HTTP” 代理一项,我们将其切换成手动,然后填上 Charles 运行所在的电脑的 IP,以及端口号 8888,如下图所示:
3)设置好之后,就可以看到 Charles 弹出 iPhone 请求连接的确认菜单(如下图所示),点击 “Allow” 即可完成设置。
一般的,在完成了上述配置后,即可在Charles上获取iPhone设备的HTTP协议的通讯信息了。
b. 如果我们需要在iPhone设备上截取 Https 协议的通讯内容,则还需要在手机上安装相应的CA证书,其设置步骤如下:
1)点击 Charles 的顶部菜单,选择 “Help” -> “SSL Proxying” -> “Install Charles Root Certificate on a Mobile Device or Remote Browser”,如下图所示:
然后就可以看到 Charles 弹出的简单的安装教程。打开手机Safari,输入chls.pro/ssl即可进行下载安装。如下图所示:
按照上面a中说的教程,在设备上设置好 Charles 为代理后。就可以截取手机上的 Https 通讯内容了。
修改网络请求参数
有些时候为了调试服务器的接口,我们需要反复尝试不同参数的网络请求。Charles 可以方便地提供网络请求的修改和重发功能。只需要在指定的网络请求上点击右键,选择 “Compose”(或者点击工具栏的“compose a new request based on the selection”按钮,亦或者通过菜单项Tools->Compose,快捷键command + M 调出)即可创建一个可编辑的网络请求。如下图所示:
通过工具栏调出:
可以修改该请求的任何信息,包括 URL 地址、端口、参数等,之后点击 “Execute” 即可发送该修改后的网络请求(如下图所示)。Charles 支持多次修改和发送该请求,这对于和服务器端调试接口非常方便。
模拟慢速网络
在做移动开发的时候,我们常常需要模拟慢速网络或者高延迟的网络,以测试在移动网络下,应用的表现是否正常。Charles 对此需求提供了很好的支持.
在 Charles 的菜单栏上,选择 “Proxy”->”Throttle Setting” 项,在之后弹出的对话框中,我们可以勾选上 “Enable Throttling”,并且可以设置 Throttle Preset 的类型。如下图所示:
如果我们只想模拟指定网站的慢速网络,可以再勾选上图中的 “Only for selected hosts” 项,然后在对话框的下半部分设置中增加指定的 hosts 项即可。
另外,针对一些指定的网络请求欲进行临时性的模拟慢速网络,Charles提供了快捷的方法:选中欲进行慢速网络测试的请求,单击工具栏的"Start Throttling"按钮即可。想要停止慢速网络测试,则再次单击此按钮即可。如下图所示:
针对服务器的压力测试
我们可以使用 Charles 的 Repeat 功能来简单地测试服务器的并发处理能力,在想进行服务压力测试的网络请求上(POST 或 GET 请求均可)右击,然后选择"Repeat Advanced"菜单项,如下所示:
在选择迭代次数Iterations与并发次数Concurrency后即可进行压力测试。
修改服务器的返回内容
有些时候我们想让服务器返回一些指定的内容,方便我们调试一些特殊情况。例如列表页面为空的情况,数据异常的情况,部分耗时的网络请求超时的情况等。如果没有 Charles,要服务器配合构造相应的数据显得会比较麻烦。这个时候,使用 Charles 相关的功能就可以满足我们的需求。 根据具体的需求,Charles 提供了 Map 功能、 Rewrite 功能以及 Breakpoints 功能,都可以达到修改服务器返回内容的目的。这三者在功能上的差异是:
Map 功能适合长期地将某一些请求重定向到另一个网络地址或本地文件。
Rewrite 功能适合对网络请求进行一些正则替换。
Breakpoints 功能适合做一些临时性的修改。
一、Map功能
Charles 的 Map 功能分 Map Remote 和 Map Local 两种,顾名思义:
Map Remote: 是将指定的网络请求重定向到另一个网址请求地址。
Map Local :是将指定的网络请求重定向到本地文件。
在 Charles 的菜单中,选择 “Tools”->”Map Remote” 或 “Map Local” 即可进入到相应功能的设置页面。
a. 对于 Map Remote 功能
我们需要分别填写网络重定向的源地址和目的地址,对于不需要限制的条件,可以留空。下图是一个示例,我将所有www.baidu.com的请求重定向到了 cn.bing.com。
另外,Map Remote更多地用来将本地的请求重定向到测试或者线上环境的网络请求。本地开发常常因为没有数据,需要相应环境的测试数据,所以就需要将本地请求数据的API接口Map Remote到测试或线上环境来获取测试数据而不用进行大量的mock数据,除了单个Map隐射外,还可以使用*通配符进行批量匹配,不用一个个建立重定向了。因为涉及系统涉及到的数据API接口比较多,每个都进行单独重定向的话,效率太低。下面举个示例说明:
注意:上面Map From中的Path配置项使用了“ * ”通配符,表示请求匹配127.0.0.1:8080/api/下的所有文件及子路径,将其重定向到cdm.gdhtcm.com:8028/ServerAPP/api/路径下。
补充说明:
1、Map三种匹配模式
Map映射可以使用的模式匹配符有三种:
* : 可以匹配0个或者多个字符
? : 可以匹配一个字符
[...] : 范围选择符,可以匹配范围中的任意一个字符
2、假设Map From配置中的各个项为空,表示匹配所有请求,然后Map To项的配置不同,下表给出了最终产生的结果示意如下:
b. 对于 Map Local 功能
我们需要填写的重定向的源地址和本地的目标文件。
要填写重定向的源地址和本地的目标文件。对于有一些复杂的网络请求结果,我们可以先使用 Charles 提供的 “Save Response…” 功能,将请求结果保存到本地(如下图所示),然后稍加修改,成为我们的目标映射文件。
我将一个指定的网络请求通过 Map Local 功能映射到了本地的一个经过修改的文件中。
Map Local 在使用的时候,有一个潜在的问题,就是其返回的 Http Response Header 与正常的请求并不一样。这个时候如果客户端校验了 Http Response Header 中的部分内容,就会使得该功能失效。解决办法是同时使用 Map Local 以及 Rewrite 功能,将相关的 Http 头 Rewrite 成我们希望的内容。
二、Rewrite 功能
Rewrite 功能功能适合对某一类网络请求进行一些正则替换,以达到修改结果的目的。
//TODO...
三、Breakpoints 功能
上面提供的 Rewrite 功能最适合做批量和长期的替换,但是很多时候,我们只是想临时修改一次网络请求结果,这个时候,使用 Rewrite 功能虽然也可以达到目的,但是过于麻烦,对于临时性的修改,我们最好使用 Breakpoints 功能。
Breakpoints 功能类似我们在 Xcode 中设置的断点一样,当指定的网络请求发生时,Charles 会截获该请求,这个时候,我们可以在 Charles 中临时修改网络请求的返回内容。
//TODO...
需要注意的是,使用 Breakpoints 功能将网络请求截获并修改过程中,整个网络请求的计时并不会暂停,所以长时间的暂停可能导致客户端的请求超时。
反向代理
Charles 的反向代理功能允许我们将本地的端口映射到远程的另一个端口上。例如,在下图中,我将本机的 53846 端口映射到了远程(www.baidu.com)的80端口上了。这样,当我访问本地的 53846 端口时,实际返回的内容会由 www.baidu.com 的 80 端口提供。