抓包以及工作原理

1.使用场景

(1).排查线上前端问题

(2).抓包查看APP中webview渲染页面请求,单独h5链接有鉴权不能单独情况

(3).构建模拟测试场景(mock)

(4).APP弱网模拟测试

(5).前端性能分析及优化

2.什么是抓包

抓包就是将网络传输发送与接收的数据包进行截获、重发、编辑、转存等操作,通过抓包可以:

分析网络问
思路就是设置一个中间人进程负责抓包,每次目标进程之间的会话都先与中间人进程通信,再进行转发。
业务分析
分析网络信息流通量
数据在网络上是以很小的帧的单位传输的,帧通过特定的称为网络驱动程序的程序进行成型,然后通过网卡发送到网线上,通过网线到达目的机器,在目的机器的一端执行相反的过程。

接收端机器的以太网捕获到这些帧,并告诉操作系统帧已到达,然后对其进行存储。在这个传输和接收的过程,就可以使用抓包工具进行抓包,作为前端开发者,通常是抓取应用层的 HTTP/HTTPS 的包。

2.2 HTTP/HTTPS 抓包原理

HTTP/HTTPS 是应用层使用的通信协议,常见的应用层体系结构是客户端-服务器体系。

对运行在不同端系统上的客户端程序和服务端程序是如何互相通信的么?实际上,在操作系统上的术语中,进行通信的实际上是进程而不是程序,一个进程可以被认为是运行在端系统中的一个程序。

在 web 应用程序中,一个客户浏览器进程与一台服务器进程进行会话交换报文。

浏览器进程需要知道接收进程的主机地址,以及定义在目的主机中的接收进程的标识符,也就是目的端口。

思路就是设置一个中间人进程负责抓包,每次目标进程之间的会话都先与中间人进程通信,再进行转发。

2.2.1 HTTP 抓包原理

在 http 标准中,没有对通信端身份验证的标准。对于服务器来说,它接收的 HTTP 请求报文只要格式符合规范,就发送响应报文。

对于客户端来说也是如此,它无法校验服务器的身份 因此,对于 HTTP 抓包,无需做过多的处理,只需要让中间人负责转发客户端和服务端的数据包。

2.2.2 HTTPS 抓包原理

HTTP 是明文传输,容易受到中间人攻击,不安全。

HTTPS 语义仍然是 HTTP,只不过是在 HTTP 协议栈中 http 与 tcp 之间插入安全层 SSL/TSL。

安全层采用对称加密的方式加密传输数据和非对称加密的方式来传输对称密钥,解决 http 数据没有加密、无法验证身份、数据容易纂改三个核心问题。

HTTP + SSL(加密 + 认证 + 完整性保护) = HTTPS
对称加密:传统的加密算法,就是加密和解密用的都是一个密码。

非对称加密: 通过算法可以随机生成这样的两个字符串,称为一对公钥和私钥,知道算法,并且拥有其中任意的一把钥匙,你能解开用另一把钥匙加密过的密文。 但你几乎不可能通过手头的这把钥匙逆推出另一把钥匙,这保证了钥匙的安全。 为了能快速加解密,一般公钥比较短,私钥比较长。 私钥不传播不公开,所以称为私钥, 公钥公开发布出去。也就是公钥加密,通过私钥解密。

我们知道用https://www.baidu.com方式浏览网页的时 浏览器首先要做的就是从对方的服务器上下载该网站的证书,并验证证书有效后,才会开始建立https连接。

1.客户端向服务器请求时,服务器先返回包含其公钥的证书。

2.客户端根据CA证书自签根证书解密并校验证书链(为了防止证书被篡改,证书的正文信息后面,附加了一段CA机构的签名信息(密文))

证书的真伪验证是一个链条式的逐级验证的过程,这被称为信任链:

CA用私钥自签生成根证书(内含CA公钥),预装到你的操作系统或浏览器,
CA用私钥给二级机构签发二级证书(内含二级机构公钥),或许也已经出现在你的系统中,你能用根证书验证它
二级机构给各企业或网站或用户签发证书(内含用户公钥),用户使用证书来安全的分发公钥
最终用户获取到某个证书后,可以通过预装在自己系统中的上级证书,来验证该证书是否有效
3.客户端验证服务器证书的合法性后,生成一个随机数通过该公钥加密发给服务器,服务器通过自己的私钥解密得到这个随机数,完成密码交换。

4.出于性能效率考虑,后续客户端与服务器通过交换的随机数对数据进行对称加解密。

image.png
中间人想要抓包,需在 HTTPS 加密通信之前,关键就是获得这个密码,方法是:

1.需要抓包的目标上先安装抓包软件的证书

2.把这个抓包软件自我签发的证书设置为信任或放到根证书区域完全信任

3.在目标上配置代理,把它所有的流量导向抓包软件,抓包软件截获目标发往服务器的通讯请求后,就能伪装成服务器,伪造一张证书发给客户端,因为你之前配置并信任了我的根证书,所以我现在伪造的证书被你验证通过,让客户端以为就是真正的服务器给的证书和目标通信(密码自然就获取到了)

4.同时也伪装成目标与真正的服务器通信。

以Fiddler为例,Fiddler抓取HTTPS过程
  1. Fiddler截获客户端发送给服务器的HTTPS请求,Fiddler伪装成客户端向服务器发送请求进行握手 。
  2. 服务器发回相应,Fiddler获取到服务器的CA证书, 用根证书(这里的根证书是CA认证中心给自己颁发的证书)公钥进行解密, 验证服务器数据签名, 获取到服务器CA证书公钥。然后Fiddler伪造自己的CA证书(这里的CA证书,也是根证书,只不过是Fiddler伪造的根证书), 冒充服务器证书传递给客户端浏览器。
  3. 与普通过程中客户端的操作相同,客户端根据返回的数据进行证书校验、生成密码、用Fiddler伪造的证书公钥加密,并生成HTTPS通信用的对称密钥enc_key。
  4. 客户端将重要信息传递给服务器, 又被Fiddler截获。Fiddler将截获的密文用自己伪造证书的私钥解开, 获得并计算得到HTTPS通信用的对称密钥enc_key。Fiddler将对称密钥用服务器证书公钥加密传递给服务器。
  5. 与普通过程中服务器端的操作相同,服务器用私钥解开后建立信任,然后再发送加密的握手消息给客户端。
  6. Fiddler截获服务器发送的密文, 用对称密钥解开, 再用自己伪造证书的私钥加密传给客户端。
  7. 客户端拿到加密信息后,用公钥解开,验证HASH。握手过程正式完成,客户端与服务器端就这样建立了”信任“。
  8. 在之后的正常加密通信过程中,Fiddler如何在服务器与客户端之间充当第三者呢?
    服务器—>客户端:Fiddler接收到服务器发送的密文, 用对称密钥解开, 获得服务器发送的明文。再次加密, 发送给客户端。
    10.客户端—>服务端:客户端用对称密钥加密,被Fiddler截获后,解密获得明文。再次加密,发送给服务器端。由于Fiddler一直拥有通信用对称密钥enc_key, 所以在整个HTTPS通信过程中信息对其透明。
3.常用抓包工具操作

参考链接:

https详解

1.https://www.cnblogs.com/gugu33/p/14258329.html

2.https://blog.csdn.net/zxy5663/article/details/126254589

3.https://blog.csdn.net/yang12345

抓包工具教程

Fiddler抓包的详细教学

https://blog.csdn.net/m0_73409141/article/details/126998267

Charles 抓包工具详解

https://blog.csdn.net/eyishion/article/details/54177916

Fiddler Classic 替换本地JS并远程调试

https://blog.csdn.net/sword_hap

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,454评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,553评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,921评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,648评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,770评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,950评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,090评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,817评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,275评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,592评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,724评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,409评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,052评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,815评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,043评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,503评论 2 361
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,627评论 2 350

推荐阅读更多精彩内容