使用socket进行tcp数据传输的简单过程

Socket是TCP/UDP传输层的API, HTTP是在tcp上的应用层API. 因此HTTP请求离不开底层的socket.

下面是一个常见的socket tcp请求的流程:

socket.png

client和server都要创建一个socket对象
client.socket需要设置请求server的ip+port, 然后server.socket调用bind方法将server.socket对象绑定到指定的port提供给client请求
server端需要设置socket成被动listen状态, 此时服务器就能监听client的connect -- (注意:此时server就能接受client的connect, 只不过由于server没有accept, 所以client.connect方法会阻塞, 并且在server端内核中client的connet请求会进行排队)
client.socket调用connet并阻塞, 等待server调用accept方法, 在accept方法返回之前, client.connect方法是阻塞的.如果server可以调用accept方法, 会生成一个connfd, 就是server与client通信使用的connfd. 此时客户端的connect返回
一旦连接建立, server和client就能互相发送二进制字节流数据!!!
当通讯结束, 两者都需要调用close关闭socket.

由于tcp的socket是一个面向字节流协议, 因此在两个socket之间的数据流是字节流,因此在tcp-socket上层封装的协议都需要自己去实现数据格式的解析.

常见的由使用\r\n换行符作为数据拆分的, 就比如本文涉及的HTTP协议;还有指定前多少个字节的结构, 指定后面body体长度的方式的,比如MQTT协议.

HTTP协议的简单基础

本文讨论的HTTP协议是简单的文本协议, 也就是在建立tcp socket连接以后, 两个connected socket发送和接受的数据都是文本数据!!!

超简洁的实例 ——关于HTTP协议分析中讲的非常透彻, 有两点需要我们注意:

HTTP是一个无状态的协议
HTTP的request/response的结构, 主要是各种header/body体

虽然HTTP是一个无状态的协议, 但是我们会用Cookie或者Session来扩展HTTP的功能帮助我们记录一些状态, 同时还有一个技术, 比如Connection:keep-alive,http pipelining来帮助优化HTTP的性能.

ps1:

注意：每个Header一行一个，换行符是\r\n. 当连续两个\r\n表示Header部分结束, 后面的数据全部是body. HTTP响应如果包含body，也是通过\r\n\r\n来分隔的。同时body的数据类型是由Content-Type头来决定的,如果是网页, body就是文本, 如果是图片,body就是二进制数据

ps2:

而keep-alive则指的是客户端与服务器之间的 socket 在一次通信结束后并不立即关闭，可以重复使用。但是里边传输的协议消息依旧是无状态的。这么做的主要目的，是为了避免 socket 建立过程的开销。socket 的建立开销是很大的，至少要有三次握手，也就是说三次往返。如果短时间内有大量消息需要传递的话，这个花费是很可观的。除了keep-alive以外为了优化 http 的性能，还有http pipelining 之类的优化方法。这种策略会一次发送多个请求（见下图），为了突出主干就不赘述了。

httpkeepalive.png

URL的格式

URL的完整参考是如下:, 其中[]中表示可选

scheme:[//[user:password@]host[:port]][/]path[?query]
协议:[//[用户名:密码@]主机名[:端口号]][/]路径[?查询]

DNS与HTTP

由于在使用HTTP请求时, 一般都使用域名domain在作为URL的host字段, 而在socket建立connect时,需要绑定ip和port, 因此需要DNS系统来帮忙将domain转化成ip进行处理.

下面是一个使用curl进行HTTP请求的完整实例:

➜  ~ curl http://www.baidu.com/ --verbose
*   Trying 14.215.177.38...
* TCP_NODELAY set
* Connected to www.baidu.com (14.215.177.38) port 80 (#0)
> GET / HTTP/1.1
> Host: www.baidu.com
> User-Agent: curl/7.58.0
> Accept: */*
> 
< HTTP/1.1 200 OK
< Accept-Ranges: bytes
< Cache-Control: private, no-cache, no-store, proxy-revalidate, no-transform
< Connection: keep-alive
< Content-Length: 2381
< Content-Type: text/html
< Date: Sun, 28 Feb 2021 13:26:57 GMT
< Etag: "588604d8-94d"
< Last-Modified: Mon, 23 Jan 2017 13:27:52 GMT
< Pragma: no-cache
< Server: bfe/1.0.8.18
< Set-Cookie: BDORZ=27315; max-age=86400; domain=.baidu.com; path=/
< 
<!DOCTYPE html>
<!--STATUS OK--><html> <head><me....
...

我们能看到实际在底层进行socket连接时, 使用的百度的ip地址14.215.177.38. 并且查看了curl的源码以后,知道curl底层使用的getaddrinfo方法使用的LocalDNS将domain->ip.

因此使用domain作为URL.host的HTTP请求的流程是: DNS 解析 -> TCP 连接 -> Request -> Response

TLS与HTTP

在日常使用中, 我们更多的使用的时HTTPS, 也就是 TLS + HTTP协议, 也就是说在tcp-socket基础上, 我们又引入了TLS协议配合HTTP使用.

最终HTTPS的完整流程是: DNS 解析 -> TCP 连接 -> TLS 握手 -> Request -> Response

https.png

TLS包含三个基本阶段(完整的握手):

对等协商支援的密钥算法
基于私钥加密交换公钥,基于PKI证书的身份认证
基于公钥加密的数据传输保密

当client和server初次建立TLS握手时(比如浏览器访问HTTPS网站), 双方会建立一个完整的TLS连接!!!

具体的流程如下:

tls.png

client像server发送请求https://www.baidu.com:443/, 然后底层构建的socket会connect, server的443端口. 然后发送client支持的cipher suites以及random number1, 也就是发起握手信息
server收到connect以后响应握手信息, 返回random number2和匹配好的加密算法.
server继续给client发送第二个响应报文就是server的certificate, 内部是对称加密证书中的public key, 还有证书签发机构, 过期时间, 域名信息等.
client收到证书以后, 解析该证书, 进行evaluate trust certificate.如果证书OK, 那么生成一个随机值(预主秘钥)
client认证证书通过以后, 通过random1+random2+预主秘钥组装session作为会话秘钥,
client通过证书中的public key加密会话密钥, 并发送给server
服务端通过私钥解谜会话秘钥, 得到随机值1、随机值2和预主秘钥，然后组装会话秘钥，跟客户端会话秘钥相同。
客户端通过会话秘钥加密一条消息发送给服务端，主要验证服务端是否正常接受客户端加密的消息。
同样服务端也会通过会话秘钥加密一条消息回传给客户端，如果客户端能够正常接受的话表明SSL层连接建立完成了.
后续的HTTP请求就在这个秘钥的加密下完成通信