VXLAN协议
VXLAN是Virtual eXtensible Local Area Network的缩写,虚拟可扩展的局域网，RFC 7348的标题“A Framework for Overlaying Virtualized Layer 2 Networks over Layer 3 Networks”，说明了VXLAN是一个在传统Layer 3网络上架设出来的Layer 2 overlay网络。RFC Abstract如下：
This document describes Virtual eXtensible Local Area Network (VXLAN), which is used to address the need for overlay networks within virtualized data centers accommodating multiple tenants. The scheme and the related protocols can be used in networks for cloud service providers and enterprise data centers. This memo documents the deployed VXLAN protocol for the benefit of the Internet community.
Vxlan报文格式
Outer UDP端口使用4798，但可以修改
Outer IP头封装：源IP为发送报文的虚拟机所属的VTEP的IP地址，目的IP为目的虚拟机所属的VTEP IP地址。
Outer的目的IP地址可以是单播和组播地址，单播的情况下，目的IP为VTEP(Vxlan Tunnel End Point）的IP地址，在多播的情况下引入VXLAN的管理层，利用VNI和IP多播组的映射来确定VTEP。
当目的IP为接收端的VTEP的IP时，假如不知道这个IP地址，则需要执行ARP请求来获取，步骤如下：
- 目标IP被替换成与源虚拟机具有相同VNI的多播组IP地址；
- 所有VTEP端都接收该多播报文，VTEP查找所在主机上的全部虚拟机来匹配源虚拟机的Inner目的MAC。
- 目标VTEP的虚拟机会回应该多播包，从而获得目标VTEP的IP地址。
- 发送端VTEP添加VNI-VTEP-虚拟机MAC的映射关系到自己的VXLAN表中，以避免再次组播学习。
Outer 以太封装：SA为发送报文的虚拟机所属的VTEP MAC地址，DA为目的虚拟机所属的VTEP上路由表中下一跳MAC地址。
VXLAN网络结构
NVE(Network Virtrualization Edge网络虚拟边缘节点）是实现网络虚拟化的功能实体，VM里的报文经过NVE封装后，NVE之间就可以在基于L3的网络基础上建立起L2虚拟网络。网络设备实体以及服务器实体上的VSwitch都可以作为NVE。
VTEP为VXLAN隧道的端点，封装在NVE中，用于VXLAN报文的封装和解封装。VTEP与物理网络相连，分配的地址为物理网络IP地址。VXLAN报文中源IP地址为本节点的VTEP地址，VXLAN报文中目的IP地址为对端节点的VTEP地址，一对VTEP地址就对应着一个VXLAN隧道。
VNI（VXLAN Network Identifier）：VXLAN网络标识VNI类似VLAN ID，用于区分VXLAN段，不同VXLAN段的虚拟机不能直接二层相互通信。一个VNI表示一个租户，即使多个终端用户属于同一个VNI，也表示一个租户。VNI由24比特组成，支持多达16M（(2^24-1)/1024^2）的租户。
VAP（Virtual Access Point）：虚拟接入点VAP统一为二层子接口，用于接入数据报文。为二层子接口配置不同的流封装，可实现不同的数据报文接入不同的二层子接口。
Vxlan网关
VM之间的通信模式主要有3种：同VNI下的不同VM（分布在同一实体和不同实体两种），不同VNI下的跨网访问，VXLAN和非VXLAN之间的访问。
VXLAN网关分为：
二层网关：位于同一网段的终端用户通信，L2网关收到用户报文后，根据报文中包含的目的MAC类型，报文转发流程分为：
MAC地址为BUM（broadcast&unknown-unicast&multicast）地址，按照 BUM报文转发流程进行处理
MAC地址为已知单播地址，按照已知单播报文转发流程进行处理
三层网关：用于非同一网段的终端用户通信或VXLAN和非VXLAN用户间的通信。
VXLAN二层网关
L2网关主要解决的就是同一VNI下的VM之间的互访。
VXLAN 三层网关
L3网关解决的就是不同VNI以及VXLAN和非VXLAN之间的互访。L3网关分为集中式网关和分布式网关，这2者的主要区别就在于L3网关是在leaf上还是在spine上。
如上图所示，集中式L3 GW在spine上，而分布式则是L2，L3 GW都在leaf上。当网络规模较大时，需采用分布式网关，因集中式spine的ARP表项瓶颈，并且子网流量转发绕远。分布式网关时，VTEP在leaf上。spine节点不感知VXLAN隧道。
需要注意的是当VM1和VM2在同一子网，但是挂在不同leaf上时，他们的三层网关需要配置相同的网关IP地址和MAC地址，当租户的VM位置移动时，不需要更改网关任何配置。
BUM报文转发流程
当BUM报文进入VXLAN隧道时，接入端VTEP采用头端复制方式（接口收到BUM报文后本地VTEP通过控制平面获取同一VNI的VTEP列表，将收到的BUM报文根据VTEP列表进行复制并发送给属于同一VNI的所有VTEP））进行报文的VXLAN封装，BUM出VXLAN隧道时，出口端VTEP对报文解封装，
综述：VXLAN网络结构定义完了，这里用通俗易懂的话解释一遍：在一台实体服务器上可以虚拟出一个交换机来，这个交换机就是VSwitch，而这个VSwitch下挂的不再是实体服务器，而是一个个VM，一个VM其实就是一个租户租用的服务器，不同租户之间肯定是不能互访的，要不然租户数据的安全性如何保障，这个隔离就是靠的VNI这个ID，其实这个你可以向下VLAN是如何隔离的，目的就是为了隔离租户。我一个租户有2个VM的话，那么我这2个之间应该可以互访吧。所以说基于VNI定义的租户，而非基于VM。内部的结构说清楚了再来说上行如何访问，在一个L2交换机你要跨网访问必然要经过网关，这个网关的IP地址就是VTEP IP，在网络上有个概念叫arp-proxy，一般用途是为了保护内部私有网络，外界的所有应答都有网关来代替回答（可以理解为门卫）。在这里外界只需要你的VTEP IP即可，对端报文到达VTEP这个网关后自己在内部走L2进行转发。因此VXLAN报文中的目的IP就是对端的网关（VTEP IP），而源地址自然也是自己的网关（VTEP IP）。而对于不同leaf上的同一VNI的VM来说，他们的VTEP IP肯定要配置相同，想下同一vlan下的服务器的网关是如何配置的就明白了。