网络通信协议
互联网的核心是一系列协议，总称为“互联网协议（Internet Protocol Suite）”，这些协议规定了电脑如何连接和组网
- Socket
- 接口抽象层
- TCP/UDP ：传输层
- 面向连接（可靠）/无连接（不可靠）
- HTTP1.1/HTTP2/QUIC（HTTP3）：应用层
- 超文本传输协议
Socket抽象层
应用接口通过“套接字”向网络发送数据，主要包含下面的几种操作
- 建立，接收连接
- 读写，关闭，超时
- 获取地址，端口
TCP
TCP/IP是传输控制协议/网间协议，是一种面向连接（连接导向）的，可靠的，基于字节流的传输层通信协议
服务端流程
- 监听端口
- 接口客户端请求建立连接
- 创建goroutine处理连接
客户端流程
- 建立同服务端的连接
- 进行数据收发
- 关闭连接
closewait处理方式
UDP
UDP 协议（User Datagram Protocol）中文名称是用户数据报协议，是 OSI（Open System Interconnection，开放式系统互联）参考模型中一种无连接的传输层协议。
一个简单的传输层协议：
- 不需要建立连接
- 不可靠的、没有时序的通信
- 数据报是有长度（65535-20=65515）
- 支持多播和广播
- 低延迟，实时性比较好
- 应用于用于视频直播、游戏同步
HTTP超文本协议
HTTP(HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络协议，它详细规定了浏览器和万维网服务器之间互相通信的规则，通过因特网传送万维网文档的数据传送协议
- 请求报文
Method: HEAD/GET/POST/PUT/DELETE Accept：text/html、application/json Content-Type: application/json application/x-www-form-urlencoded 请求正文 - 响应报文
状态行(200/400/500) 响应头(Response Header) 响应正文 - 常用命令
nload tcpflow: 监听指定端口 ss netstat nmon top
grpc
gRPC 基于 HTTP2 协议扩展
请求消息
Headers
:method = POST
:scheme = https
:path = /api.echo.v1.Echo/SayHello
content-type = application/grpc+proto
grpc-encoding = gzip
Data
<Length-Prefixed Message>
Data:
1 byte of zero (not compressed).
network order 4 bytes of proto message length.
serialized proto message.
返回消息
Headers
:status = 200
grpc-encoding = gzip
content-type = application/grpc+proto
Data
<Length-Prefixed Message>
Trailers
grpc-status = 0
grpc-message = OK
grpc-details-bin = base64(pb)
HTTP2
HTTP1.1
- 增加了持久连接，每个请求进行串行请求。
- 浏览器为每个域名最多同时维护 6 个 TCP 持久连接。
- 使用 CDN 的实现域名分片机制。
HTTP2多路复用
- 请求数据二进制分帧层处理之后，会转换成请求 ID 编号的帧，通过协议栈将这些帧发送给服务器。
- 服务器接收到所有帧之后，会将所有相同 ID 的帧合并为一条完整的请求信息。
- 然后服务器处理该条请求，并将处理的响应行、响应头和响应体分别发送至二进制分帧层。
同样，二进制分帧层会将这些响应数据转换为一个个带有请求 ID 编号的帧，经过协议栈发送给浏览器。 - 浏览器接收到响应帧之后，会根据 ID 编号将帧的数据提交给对应的请求
HTTPS
HTTPS；常称为HTTP over TLS、HTTP over SSL或HTTP Secure）是一种通过计算机网络进行安全通信的传输协议。
- SSL/TLS 协议提供主要的作用有：
- 认证用户和服务器，确保数据发送到正确的客户端和服务器。
- 加密数据以防止数据中途被窃取。
- 维护数据的完整性，确保数据在传输过程中不被改变。
- 哈希算法：
- CA 用自己的私钥对指纹签名，浏览器通过内置 CA 跟证书公钥进行解密，如果解密成功就确定证书是 CA 颁发的。
- 对称加密：
-指的就是加、解密使用的同是一串密钥，所以被称做对称加密。对称加密只有一个密钥作为私钥。 - 非对称加密：
-指的是加、解密使用不同的密钥，一把作为公开的公钥，另一把作为私钥。公钥加密的信息，只有私钥才能解密。 - CA 证书机构：
- CA 是负责签发证书、认证证书、管理已颁发证书的机关；通常内置在操作系统，或者浏览器中，防止。
Go网络编程
-
基础概念
- Socket：数据传输
- Encoding：内容编码
- Session：连接会话状态
- C/S模式：通过客户端实现双端通信
- B/S模式：通过浏览器即可完成数据的传输
-
简单例子
func main(){ listen,err := net.Listen("tcp","127.0.0.1:10000") if err != nil{ panic(err) } for { conn,err := listen.Accept() if err != nil { continue } go handleConn(conn) } } func handleConn(conn net.Conn){ defer conn.close() rd := buffio.NewReader(conn) wr := buffio.NewWriter(conn) for { line,_ ,err := rd.ReadLine() if err != nil{ return } wr.WriteString("aaa") wr.Write(line) wr.Flush() } }func main() { listen, err := net.ListenUDP("udp", &net.UDPAddr{Port: 20000}) if err != nil { log.Fatalf("listen error: %v\n", err) } defer listen.Close() for { var buf [1024]byte n, addr, err := listen.ReadFromUDP(buf[:]) if err != nil { log.Printf("read udp error: %v\n", err) continue } data := append([]byte("hello "), buf[:n]...) listen.WriteToUDP(data, addr) } }func main() { mux := http.NewServeMux() mux.HandleFunc("/", func(w http.ResponseWriter, req *http.Request) { if req.URL.Path != "/" { http.NotFound(w, req) return } fmt.Fprintf(w, "Welcome to the home page!") }) s := &http.Server{ Addr: ":8080", Handler: mux, ReadTimeout: 1 * time.Second, WriteTimeout: 1 * time.Second, MaxHeaderBytes: 1 << 20, }
IO模型
Linux下主要的IO模型分为:
- Blocking IO - 阻塞I O
- Nonblocking IO - 非阻塞IO
- IO multiplexing - IO 多路复用
- Signal-driven IO - 信号驱动式IO（异步阻塞）
- Asynchronous IO - 异步IO
I/O多路复用
I/O 多路复用：进程阻塞于 select，等待多个 IO 中的任一个变为可读，select 调用返回，通知相应 IO 可以读。 它可以支持单线程响应多个请求这种模式。
GO采用的是I/Oduo路复用，模型处理I/O 操作，但是并没有选择常见的select，而是在linuxs上采用的Epoll，虽然select也可以提哦那个I/O 多路复用的能力，但是其使用有较多的限制
- 监听能力有限
- 内存拷贝开销较大
- 时间复杂度
多路复用模块
为了提高 I/O 多路复用的性能
不同的操作系统也都实现了自己的 I/O 多路复用函数，例如：epoll、kqueue 和 evport 等
Go 语言为了提高在不同操作系统上的 I/O 操作性能，使用平台特定的函数实现了多个版本的网络轮询模块：
- src/runtime/netpoll_epoll.go
- src/runtime/netpoll_kqueue.go
- src/runtime/netpoll_solaris.go
- src/runtime/netpoll_windows.go
- src/runtime/netpoll_aix.go
- src/runtime/netpoll_fake.go
