目录
一:计算机基础
(1)计算机的连接方式
- 网线连接
- 同轴电缆
- 集线器
没有智商,会把通信发到每个角落(有点像广播) - 网桥
能够通过自学得知每个接口的MAC地址,通信不会随便到处乱发,从而隔绝冲突域
网桥只有两个接口 - 交换机
相当于接口更多的网桥 - 路由器
◼ 网线直连、同轴电缆、集线器、网桥、交换机
◼ 连接的设备必须在同一网段
◼ 连接的设备处在同一广播域
◼ 路由器
◼ 可以在不同网段之间转发数据
◼ 隔绝广播域
(2):MAC地址
◼ 每一个网卡都有一个6字节(48bit)的地址MAC地址
◼ 全球唯一,固化在了网卡的中,由标准规定
前3个字节:组织唯一标识符 由IEEE的注册管理机构分配给厂商
后3个字节:网络接口标识符 由厂商自行分配
ARP协议
地址解析器,通过IP地址获取MAC地址
当我们不知道对方的MAC地址时,可通过ARP广播获取对方MAC地址
ICMP协议
通常来返回错误信息
(3)IP
◼ IP地址由2部分组成:网络标识(网络ID)、主机标识(主机ID)
通过子网掩码(subnet mask)可以得知网络ID 、主机ID
◼ 主机所在的网段 = 子网掩码 & IP地址
◼ 计算机和其他计算机通信前,会先判断目标主机和自己是否在同一网段
同一网段:不需要由路由器进行转发
不同网段: 交由路由器进行转发
IP地址的分类
A类
B类
C类
子网划分
◼ 如果需要让200台主机在同一个网段内,可以分配一个C类网段,比如192.168.1.0/24
共254个可用IP地址:192.168.1.1~192.168.1.254
多出54个空闲的IP地址,这种情况并不算浪费资源
◼ 如果需要让500台主机在同一个网段内,那就分配一个B类网段,比如191.100.0.0/16
共65534个可用IP地址:191.100.0.1~191.100.255.254
多出65034个空闲的IP地址,这种情况属于极大的浪费资源
◼ 如何尽量避免浪费IP地址资源?
合理进行子网划分
◼ 可用分为
等长子网划分:将一个网段等分成多个子网,每个子网的可用IP地址数量是一样的
变长子网划分:每个子网的可用IP地址数量可以是不一样的
(3)路由
◼ 按照网络的范围进行分类,可以分为:局域网、城域网、广域网等
◼ 局域网 ( Local Area NetWork,LAN )
一般是范围在几百米到十几公里内的计算机所构成的计算机网络
常用于公司、家庭、学校、医院、机关、一幢大楼等
局域网中使用最广泛的网络技术叫: 以太网
在电脑、手机上经常见到的一个英文 (WLAN),意思是无线局域网
◼ 城域网 (Metropolitan Area Network, MAN )
一般范围是数十公里到数百公里,可以覆盖一个城市
◼ 广域网 (Wide Area Network, WAN )
一般范围是几百公里到几千公里,可以覆盖一个国家。通常都需要租用
的线路。
二:物理层
◼ 物理层定义了接口标准、线缆标准、传输速率、传输方式等
◼ 信道:信息传输的通道,一条传输介质上(比如网线)上可以有多条信道
◼ 单工通信
信号只能往一个方向传输,任何时候都不能改变信号的传输方向
比如无线电广播、有线电视广播
◼ 半双工通信
信号可以双向传输,但必须是交替进行,同一时间只能往一个方向传输
比如对讲机
◼ 全双工通信
信号可以同时双向传输
比如手机(打电话,听说同时进行)
三:数据链路层
◼ 链路:从1个节点到相邻节点的一段物理线路(有线或无线),中间没有其他交换节点
◼ 数据链路:在一条链路上传输数据时,需要有对应的通信协议来控制数据的传输
不同类型的数据链路,所用的通信协议可能是不同的
✓ 广播信道:CSMA/CD协议(比如同轴电缆、集线器等组成的网络)
✓ 点对点信道:PPP协议(比如2个路由器之间的信道)
◼ 数据链路层的3个基本问题
封装成帧
透明传输
差错检验
数据链路层 封装成帧
◼ 帧(Frame)的数据部分
就是网络层传递下来的数据包(IP数据包,Packet)
◼ 最大传输单元MTU(Maximum Transfer Unit)
每一种数据链路层协议都规定了所能够传送的帧的数据长度上限
以太网的MTU为1500个字节
数据链路层 透明传输
◼ 使用SOH(Start Of Header)作为帧开始符
◼ 使用EOT(End Of Transmission)作为帧结束符
◼ 数据部分一旦出现了SOH、EOT,就需要进行转义
数据链路层 差错检验
◼ FCS是根据数据部分 + 首部计算得出的
◼ CSMA/CD(Carrier Sense Multiple Access with Collision Detectio)
载波侦听多路访问/冲突检测
◼ 使用了CSMA/CD的网络可以称为是以太网(Ethernet),它传输的是以太网帧
以太网帧的格式有:Ethernet V2标准、IEEE的802.3标准
使用最多的是:Ethernet V2标准
◼ 为了能够检测正在发送的帧是否产生了冲突,以太网的帧至少要 64 字节
◼ 用交换机组建的网络,已经支持全双工通信,不需要再使用CSMA/CD,但它传输的帧依然是以太网帧
所以,用交换机组建的网络,依然可以叫做以太网
Ethernet V2帧的格式
PPP协议
四: 网络层
◼ 网络层数据包(IP数据包,Packet)由首部、数据2部分组成
数据:很多时候是由 传输层 传递下来的数据段(Segment)
◼ 版本(Version)
占4位
0b0100:IPv4
0b0110:IPv6
◼ 首部长度(Header Length)
占4位,二进制乘以4才是最终长度
0b0101:20(最小值)
0b1111:60(最大值)
◼ 区分服务(Differentiated Services Field)
占8位
可以用于提高网络的服务质量(QoS,Quality of Service)
◼ 总长度(Total Length)
占16位
首部 + 数据的长度之和,最大值是65535
◼ 由于帧的数据不能超过1500字节,所以过大的IP数据包,需要分成片(fragments)传输给数据链路层
每一片都有自己的网络层首部(IP首部)
◼ 标识(Identification)
占16位
数据包的ID,当数据包过大进行分片时,同一个数据包的所有片的标识都是一样的
有一个计数器专门管理数据包的ID,每发出一个数据包,ID就加1
◼ 标志(Flags)
占3位
第1位(Reserved Bit):保留
第2位(Don't Fragment):1代表不允许分片,0代表允许分片
第3位(More Fragments):1代表不是最后一片,0代表是最后一片
◼ 片偏移(Fragment Offset)
占13位
片偏移乘以8:字节偏移
每一片的长度一定是8的整数倍
◼ 生存时间(Time To Live,TTL)
占8位
每个路由器在转发之前会将TTL减1,一旦发现TTL减为0,路由器会返回错误报告
观察使用ping命令后的TTL,能够推测出对方的操作系统、中间经过了多少个路由器
◼ 协议(Protocol)
占8位
表明所封装的数据是使用了什么协议
◼ 首部校验和(Header Checksum)
用于检查首部是否有错误
五:传输层
◼ 传输层有2个协议
TCP(Transmission Control Protocol),传输控制协议
UDP(User Datagram Protocol),用户数据报协议
连接性
UDP--数据格式
◼ UDP是无连接的,减少了建立和释放连接的开销
◼ UDP尽最大能力交付,不保证可靠交付
因此不需要维护一些复杂的参数,首部只有8个字节(TCP的首部至少20个字节)
◼ UDP长度(Length)
占16位,首部的长度 + 数据的长度
UDP--检验和
◼ 检验和的计算内容:伪首部 + 首部 + 数据
伪首部:仅在计算检验和时起作用,并不会传递给网络层
端口
◼ UDP首部中端口是占用2字节
可以推测出端口号的取值范围是:0~65535
◼ 客户端的源端口是临时开启的随机端口
◼ 防火墙可以设置开启\关闭某些端口来提高安全性
TCP--数据格式
◼ 数据偏移
占4位,取值范围是0x0101~0x1111
乘以4:首部长度(Header Length)
首部长度是20~60字节
◼ 保留
占6位,目前全为0
◼ UDP的首部中有个16位的字段记录了整个UDP报文段的长度(首部+数据)
◼ 但是,TCP的首部中仅仅有个4位的字段记录了TCP报文段的首部长度,并没有字段记录TCP报文段的数据长度
◼ 分析
UDP首部中占16位的长度字段是冗余的,纯粹是为了保证首部是32bit对齐
TCP\UDP的数据长度,完全可以由IP数据包的首部推测出来
✓ 传输层的数据长度 = 网络层的总长度 – 网络层的首部长度 – 传输层的首部长度
TCP--检验和
◼ 跟UDP一样,TCP检验和的计算内容:伪首部 + 首部 + 数据
伪首部:占用12字节,仅在计算检验和时起作用,并不会传递给网络层
TCP--标志位
◼ URG(Urgent)
当URG=1时,紧急指针字段才有效。表明当前报文段中有紧急数据,应优先尽快传送
◼ ACK(Acknowledgment)
当ACK=1时,确认号字段才有效
◼ PSH(Push)
◼ RST(Reset)
当RST=1时,表明连接中出现严重差错,必须释放连接,然后再重新建立连接
◼ SYN(Synchronization)
当SYN=1、ACK=0时,表明这是一个建立连接的请求
若对方同意建立连接,则回复SYN=1、ACK=1
◼ FIN(Finish)
当FIN=1时,表明数据已经发送完毕,要求释放连接
TCP--确认号,序号,端口
◼ 序号(Sequence Number)
占4字节
首先,在传输过程的每一个字节都会有一个编号
在建立连接后,序号代表:这一次传给对方的TCP数据部分的第一个字节的编号
◼ 确认号(Acknowledgment Number)
占4字节
在建立连接后,确认号代表:期望对方下一次传过来的TCP数据部分的第一个字节的编号
◼ 窗口(Window)
占2字节
这个字段有流量控制功能,用以告知对方下一次允许发送的数据大小(字节为单位)
TCP重要考点
◼ 可靠传输
所谓的可靠,就是能保证数据的正确性,无差错、不丢失、不重复、并且按序达到
TCP--可靠传输--停止等待ARQ协议
◼ ARQ( A utomatic R epeat–re Q uest),自动重传请求
TCP--可靠传输--停止等待ARQ协议--滑动窗口协议
TCP--可靠传输--停止等待ARQ协议--SACK协议
◼ 在TCP通信过程中,如果发送序列中间某个数据包丢失(比如1、2、 3 、4、5中的 3 丢失了)
◼ TCP会通过重传最后确认的分组后续的分组(最后确认的是2,会重传 3 、4、5)
◼ 这样原先已经正确传输的分组也可能重复发送(比如4、5),降低了TCP性能
◼ 为改善上述情况,发展出了SACK(Selective acknowledgment,选择 性 确认)技术
告诉发送方哪些数据丢失,哪些数据已经提前收到
使TCP只重新发送丢失的包(比如 3 ),不用发送后续所有的分组(比如4、5)
◼ 如果接收窗口最多能接收4个包
但发送方只发了2个包
◼ 接收方如何确定后面还有没有2个包?
等待一定时间后没有第3个包
就会返回确认收到2个包给发送方
◼ 为什么选择在传输层就将数据“大卸八块”分成多个段,而不是等到网络层再分片传递给数据链路层?
因为可以提高重传的性能
需要明确的是:可靠传输是在传输层进行控制的
✓ 如果在传输层不分段,一旦出现数据丢失,整个传输层的数据都得重传
✓ 如果在传输层分了段,一旦出现数据丢失,只需要重传丢失的那些段即可
◼ 流量控制
◼ 如果接收方的缓存区满了,发送方还在疯狂着发送数据
接收方只能把收到的数据包丢掉,大量的丢包会极大着浪费网络资源
所以要进行流量控制
◼ 什么是流量控制?
让发送方的发送速率不要太快,让接收方来得及接收处理
◼ 原理
通过确认报文中窗口字段来控制发送方的发送速率
发送方的发送窗口大小不能超过接收方给出窗口大小
当发送方收到接收窗口的大小为0时,发送方就会停止发送数据
◼ 有一种特殊情况
一开始,接收方给发送方发送了0窗口的报文段
后面,接收方又有了一些存储空间,给发送方发送的非0窗口的报文段丢失了
发送方的发送窗口一直为零,双方陷入僵局
◼ 解决方案
当发送方收到0窗口通知时,这时发送方停止发送报文
并且同时开启一个定时器,隔一段时间就发个测试报文去询问接收方最新的窗口大小
如果接收的窗口大小还是为0,则发送方再次刷新启动定时器
◼ 拥塞控制(慢开始,拥塞避免,快速重传,快速恢复)
◼ 拥塞控制
防止过多的数据注入到网络中
避免网络中的路由器或链路过载
◼ 拥塞控制是一个全局性的过程
涉及到所有的主机、路由器
以及与降低网络传输性能有关的所有因素
是大家共同努力的结果
◼ 相比而言,流量控制是点对点通信的控制,即接收端控制发送端,它所要做的是抑制发送端发送数据的速率,以便使接收端来得及接收。
◼ 几个缩写
MSS(Maximum Segment Size):每个段最大的数据部分大小
✓ 在建立连接时确定
cwnd(congestion window):拥塞窗口
rwnd(receive window):接收窗口
swnd(send window):发送窗口
✓ swnd = min(cwnd, rwnd)
慢开始
◼ cwnd的初始值比较小,然后随着数据包被接收方确认(收到一个ACK)
cwnd就成倍增长(指数级)
拥塞避免
◼ ssthresh(slow start threshold):慢 开始 阈值,cwnd达到阈值后,以线性方式增加
◼ 拥塞避免(加法增大):拥塞窗口缓慢增大,以防止网络过早出现拥塞
◼ 乘法减小:只要网络出现拥塞,把ssthresh减为拥塞峰值的一半,同时执行慢开始算法(cwnd又恢复到初始值)
当网络出现频繁拥塞时,ssthresh值就下降的很快
快重传
◼ 接收方
每收到一个失序的分组后就立即发出重复确认
使发送方及时知道有分组没有到达
而不要等待自己发送数据时才进行确认
◼ 发送方
只要连续收到三个重复确认(总共4个相同的确认),就应当立即重传对方尚未收到的报文段
而不必继续等待重传计时器到期后再重传
快恢复
◼ 当发送方连续收到三个重复确认,说明网络出现拥塞
就执行“乘法减小”算法,把ssthresh减为拥塞峰值的一半
◼ 与慢开始不同之处是现在不执行慢开始算法,即cwnd现在不恢复到初始值
而是把cwnd值设置为新的ssthresh值(减小后的值)
然后开始执行拥塞避免算法(“加法增大”),使拥塞窗口缓慢地线性增大
◼ 发送窗口的最大值:swnd = min(cwnd, rwnd)
◼ 当rwnd < cwnd时,是接收方的接收能力限制发送窗口的最大值
◼ 当cwnd < rwnd时,则是网络的拥塞限制发送窗口的最大值
TCP--确认号,序列号
注意蓝色和紫色颜色区别
TCP--三次握手
◼ CLOSED :client处于关闭状态
◼ LISTEN :server处于监听状态,等待client连接
◼ SYN-RCVD :表示server接受到了SYN报文,当收到client的ACK报文后,它会进入到 ESTABLISHED 状态
◼ SYN-SENT :表示client已发送SYN报文,等待server的第2次握手
◼ ESTABLISHED :表示连接已经建立
◼ 为什么建立连接的时候,要进行3次握手?2次不行么?
主要目的:防止server端一直等待,浪费资源
◼ 如果建立连接只需要2次握手,可能会出现的情况
假设client发出的第一个连接请求报文段,因为网络延迟,在连接释放以后的某个时间才到达server
本来这是一个早已失效的连接请求,但server收到此失效的请求后,误认为是client再次发出的一个新的连接请求
于是server就向client发出确认报文段,同意建立连接
如果不采用“3次握手”,那么只要server发出确认,新的连接就建立了
由于现在client并没有真正想连接服务器的意愿,因此不会理睬server的确认,也不会向server发送数据
但server却以为新的连接已经建立,并一直等待client发来数据,这样,server的很多资源就白白浪费掉了
◼ 采用“三次握手”的办法可以防止上述现象发生
例如上述情况,client没有向server的确认发出确认,server由于收不到确认,就知道client并没有要求建立连接
◼ 第3次握手失败了,会怎么处理?
此时server的状态为SYN-RCVD,若等不到client的ACK,server会重新发送SYN+ACK包
如果server多次重发SYN+ACK都等不到client的ACK,就会发送RST包,强制关闭连接
从上面的过程可以发现 第三次握手是可以携带数据的,前两次握手是不可以携带数据的,这也是面试常问的题。
◼TCP--四次挥手
◼ 为什么释放连接的时候,要进行4次挥手?
TCP是全双工模式
第1次挥手:当 主机1 发出FIN报文段时
✓ 表示 主机1 告诉 主机2 , 主机1 已经没有数据要发送了,但是,此时 主机1 还是可以接受来自 主机2 的数据
第2次挥手:当 主机2 返回ACK报文段时
✓ 表示 主机2 已经知道 主机1 没有数据发送了,但是 主机2 还是可以发送数据到 主机1 的
第3次挥手:当 主机2 也发送了FIN报文段时
✓ 表示 主机2 告诉 主机1 , 主机2 已经没有数据要发送了
第4次挥手:当 主机1 返回ACK报文段时
✓ 表示 主机1 已经知道 主机2 没有数据发送了。随后正式断开整个TCP连接
从上面过程可知,服务端通常需要等待完成数据的发送和处理,所以服务端的 ACK
和 FIN
一般都会分开发送,从而比三次握手导致多了一次。
为什么 TIME_WAIT 等待的时间是 2MSL?
MSL
是 Maximum Segment Lifetime,
报文最大生存时间,它是任何报文在网络上存在的最长时间,超过这个时间报文将被丢弃。
网络中可能存在来自发送方的数据包,当这些发送方的数据包被接收方处理后又会向对方发送响应,所以 一来一回需要等待 2 倍的时间。
为什么需要 TIME_WAIT 状态?
原因一:防止旧连接的数据包
假设 TIME-WAIT 没有等待时间或时间过短,被延迟的数据包抵达后会发生什么呢?
-
如上图黄色框框服务端在关闭连接之前发送的
SEQ = 301
报文,被网络延迟了。 -
这时有相同端口的 TCP 连接被复用后,被延迟的
SEQ = 301
抵达了客户端,那么客户端是有可能正常接收这个过期的报文,这就会产生数据错乱等严重的问题。
所以,TCP 就设计出了这么一个机制,经过 2MSL
这个时间,足以让两个方向上的数据包都被丢弃,使得原来连接的数据包在网络中都自然消失,再出现的数据包一定都是新建立连接所产生的。
原因二:保证连接正确关闭
假设 TIME-WAIT 没有等待时间或时间过短,断开连接会造成什么问题呢?
-
如上图红色框框客户端四次挥手的最后一个
ACK
报文如果在网络中被丢失了,此时如果客户端TIME-WAIT
过短或没有,则就直接进入了CLOSE
状态了,那么服务端则会一直处在LASE-ACK
状态。 -
当客户端发起建立连接的
SYN
请求报文后,服务端会发送RST
报文给客户端,连接建立的过程就会被终止。
所以客户端在 TIME-WAIT
状态等待 2MSL
时间后,就可以保证双方的连接都可以正常的关闭。