前言

Overview

本文將探討 Kubernetes 中的網(wǎng)絡模型，以及對各種網(wǎng)絡模型進行分析。

Underlay Network Model

什么是 Underlay Network

底層網(wǎng)絡Underlay Network顧名思義是指網(wǎng)絡設備基礎設施，如交換機，路由器,DWDM使用網(wǎng)絡介質將其鏈接成的物理網(wǎng)絡拓撲，負責網(wǎng)絡之間的數(shù)據(jù)包傳輸。

Underlay network topology

underlay network可以是二層，也可以是三層；二層的典型例子是以太網(wǎng)Ethernet，三層是的典型例子是互聯(lián)網(wǎng)Internet。

而工作于二層的技術是vlan，工作在三層的技術是由OSPF,BGP等協(xié)議組成。

k8s 中的 underlay network

在 kubernetes 中，underlay network中比較典型的例子是通過將宿主機作為路由器設備，Pod 的網(wǎng)絡則通過學習路由條目從而實現(xiàn)跨節(jié)點通訊。

underlay network topology in kubernetes

這種模型下典型的有flannel的host-gw模式與calicoBGP模式。

flannel host-gw

flannel host-gw模式中每個 Node 需要在同一個二層網(wǎng)絡中，并將 Node 作為一個路由器，跨節(jié)點通訊將通過路由表方式進行，這樣方式下將網(wǎng)絡模擬成一個underlay network。

layer2 ethernet topology

Notes：因為是通過路由方式，集群的 cidr 至少要配置 16，因為這樣可以保證，跨節(jié)點的 Node 作為一層網(wǎng)絡，同節(jié)點的 Pod 作為一個網(wǎng)絡。如果不是這種用情況，路由表處于相同的網(wǎng)絡中，會存在網(wǎng)絡不可達

Calico BGP

BGP（Border Gateway Protocol）是去中心化自治路由協(xié)議。它是通過維護 IP 路由表或前綴表來實現(xiàn) AS （Autonomous System）之間的可訪問性，屬于向量路由協(xié)議。

BGP network topology

與flannel不同的是，Calico提供了的BGP網(wǎng)絡解決方案，在網(wǎng)絡模型上，Calico與Flannel host-gw是近似的，但在軟件架構的實現(xiàn)上，flannel使用flanneld進程來維護路由信息；而Calico是包含多個守護進程的，其中Brid進程是一個BGP客戶端與路由反射器(Router Reflector)，BGP客戶端負責從Felix中獲取路由并分發(fā)到其他BGP Peer，而反射器在 BGP 中起了優(yōu)化的作用。在同一個 IBGP 中，BGP 客戶端僅需要和一個RR相連，這樣減少了AS內部維護的大量的 BGP 連接。通常情況下，RR是真實的路由設備，而Bird作為BGP客戶端工作。

Calico Network Architecture

IPVLAN & MACVLAN

IPVLAN和MACVLAN是一種網(wǎng)卡虛擬化技術，兩者之間的區(qū)別為，IPVLAN允許一個物理網(wǎng)卡擁有多個 IP 地址，并且所有的虛擬接口用同一個 MAC 地址；而MACVLAN則是相反的，其允許同一個網(wǎng)卡擁有多個 MAC 地址，而虛擬出的網(wǎng)卡可以沒有 IP 地址。

因為是網(wǎng)卡虛擬化技術，而不是網(wǎng)絡虛擬化技術，本質上來說屬于Overlay network，這種方式在虛擬化環(huán)境中與Overlay network相比最大的特點就是可以將 Pod 的網(wǎng)絡拉平到 Node 網(wǎng)絡同級，從而提供更高的性能、低延遲的網(wǎng)絡接口。本質上來說其網(wǎng)絡模型屬于下圖中第二個。

Virtual networking modes: bridging, multiplexing and SR-IOV

• 虛擬網(wǎng)橋：創(chuàng)建一個虛擬網(wǎng)卡對(veth pair)，一頭在容器內，一頭在宿主機的 root namespaces 內。這樣一來容器內發(fā)出的數(shù)據(jù)包可以通過網(wǎng)橋直接進入宿主機網(wǎng)絡棧，而發(fā)往容器的數(shù)據(jù)包也可以經(jīng)過網(wǎng)橋進入容器。
• 多路復用：使用一個中間網(wǎng)絡設備，暴露多個虛擬網(wǎng)卡接口，容器網(wǎng)卡都可以介入這個中間設備，并通過 MAC/IP 地址來區(qū)分 packet 應該發(fā)往哪個容器設備。
• 硬件交換，為每個 Pod 分配一個虛擬網(wǎng)卡，這樣一來，Pod 與 Pod 之間的連接關系就會變得非常清晰，因為近乎物理機之間的通信基礎。如今大多數(shù)網(wǎng)卡都支持 SR-IOV 功能，該功能將單一的物理網(wǎng)卡虛擬成多個 VF 接口，每個 VF 接口都有單獨的虛擬 PCIe 通道，這些虛擬的 PCIe 通道共用物理網(wǎng)卡的 PCIe 通道。

在 kubernetes 中IPVLAN這種網(wǎng)絡模型下典型的 CNI 有，multus 與 danm。

multus

multus是 intel 開源的 CNI 方案，是由傳統(tǒng)的cni與multus，并且提供了 SR-IOV CNI 插件使 K8s pod 能夠連接到 SR-IOV VF 。這是使用了IPVLAN/MACVLAN的功能。

當創(chuàng)建新的 Pod 后，SR-IOV 插件開始工作。配置 VF 將被移動到新的 CNI 名稱空間。該插件根據(jù) CNI 配置文件中的 “name” 選項設置接口名稱。最后將 VF 狀態(tài)設置為 UP。

下圖是一個 Multus 和 SR-IOV CNI 插件的網(wǎng)絡環(huán)境，具有三個接口的 pod。

• eth0是flannel網(wǎng)絡插件，也是作為 Pod 的默認網(wǎng)絡
• VF 是主機的物理端口ens2f0的實例化。這是英特爾 X710-DA4 上的一個端口。在 Pod 端的 VF 接口名稱為south0。
• 這個 VF 使用了 DPDK 驅動程序，此 VF 是從主機的物理端口ens2f1實例化出的。這個是英特爾 X710-DA4 上另外一個端口。Pod 內的 VF 接口名稱為north0。該接口綁定到 DPDK 驅動程序vfio-pci。

Mutus networking Architecture overlay and SR-IOV

Notes：術語

• NIC：network interface card，網(wǎng)卡
• SR-IOV：single root I/O virtualization，硬件實現(xiàn)的功能，允許各虛擬機間共享 PCIe 設備。
• VF：Virtual Function，基于 PF，與 PF 或者其他 VF 共享一個物理資源。
• PF：PCIe Physical Function，擁有完全控制 PCIe 資源的能力
• DPDK：Data Plane Development Kit

于此同時，也可以將主機接口直接移動到 Pod 的網(wǎng)絡名稱空間，當然這個接口是必須存在，并且不能是與默認網(wǎng)絡使用同一個接口。這種情況下，在普通網(wǎng)卡的環(huán)境中，就直接將 Pod 網(wǎng)絡與 Node 網(wǎng)絡處于同一個平面內了。

Mutus networking Architecture overlay and ipvlan

danm

DANM 是諾基亞開源的 CNI 項目，目的是將電信級網(wǎng)絡引入 kubernetes 中，與 multus 相同的是，也提供了 SR-IOV/DPDK 的硬件技術，并且支持 IPVLAN.

Overlay Network Model

什么是 Overlay

疊加網(wǎng)絡是使用網(wǎng)絡虛擬化技術，在underlay網(wǎng)絡上構建出的虛擬邏輯網(wǎng)絡，而無需對物理網(wǎng)絡架構進行更改。本質上來說，overlay network使用的是一種或多種隧道協(xié)議 (tunneling)，通過將數(shù)據(jù)包封裝，實現(xiàn)一個網(wǎng)絡到另一個網(wǎng)絡中的傳輸，具體來說隧道協(xié)議關注的是數(shù)據(jù)包（幀）。

overlay network topology

常見的網(wǎng)絡隧道技術

• 通用路由封裝 (Generic Routing Encapsulation) 用于將來自 IPv4/IPv6 的數(shù)據(jù)包封裝為另一個協(xié)議的數(shù)據(jù)包中，通常工作與 L3 網(wǎng)絡層中。
• VxLAN (Virtual Extensible LAN)，是一個簡單的隧道協(xié)議，本質上是將 L2 的以太網(wǎng)幀封裝為 L4 中 UDP 數(shù)據(jù)包的方法，使用4789作為默認端口。VxLAN也是VLAN的擴展，對于 4096（位VLAN ID） 擴展為 1600 萬（位VN·ID）個邏輯網(wǎng)絡。

這種工作在overlay模型下典型的有flannel與calico中的的VxLAN,IPIP模式。

IPIP

IP in IP也是一種隧道協(xié)議，與VxLAN類似的是，IPIP的實現(xiàn)也是通過 Linux 內核功能進行的封裝。IPIP需要內核模塊ipip.ko使用命令查看內核是否加載 IPIP 模塊lsmod | grep ipip；使用命令modprobe ipip加載。

A simple IPIP network workflow

Kubernetes 中IPIP與VxLAN類似，也是通過網(wǎng)絡隧道技術實現(xiàn)的。與VxLAN差別就是，VxLAN本質上是一個 UDP 包，而IPIP則是將包封裝在本身的報文包上。

IPIP in kubernetesIPIP packet with wireshark unpack

Notes：公有云可能不允許 IPIP 流量，例如 Azure

VxLAN

kubernetes 中不管是flannel還是calicoVxLAN 的實現(xiàn)都是使用 Linux 內核功能進行的封裝，Linux 對 vxlan 協(xié)議的支持時間并不久，2012 年 Stephen Hemminger 才把相關的工作合并到 kernel 中，并最終出現(xiàn)在 kernel 3.7.0 版本。為了穩(wěn)定性和很多的功能，你可以會看到某些軟件推薦在 3.9.0 或者 3.10.0 以后版本的 kernel 上使用VxLAN。

A simple VxLAN network topology

在 kubernetes 中 vxlan 網(wǎng)絡，例如flannel，守護進程會根據(jù) kubernetes 的 Node 而維護VxLAN，名稱為flannel.1這是VNID，并維護這個網(wǎng)絡的路由，當發(fā)生跨節(jié)點的流量時，本地會維護對端VxLAN設備的 MAC 地址，通過這個地址可以知道發(fā)送的目的端，這樣就可以封包發(fā)送到對端，收到包的對端 VxLAN 設備flannel.1解包后得到真實的目的地址。

查看Forwarding database列表

$bridgefdb
268791:fcdevflannel.1dst10.0.0.3selfpermanent

VxLAN in kubernetesVxLAN packet with wireshark unpack

Notes：VxLAN 使用的 4789 端口，wireshark 應該是根據(jù)端口進行分析協(xié)議的，而 flannel 在 linux 中默認端口是 8472，此時抓包僅能看到是一個 UDP 包。

通過上述的架構可以看出，隧道實際上是一個抽象的概念，并不是建立的真實的兩端的隧道，而是通過將數(shù)據(jù)包封裝成另一個數(shù)據(jù)包，通過物理設備傳輸后，經(jīng)由相同的設備（網(wǎng)絡隧道）進行解包實現(xiàn)網(wǎng)絡的疊加。

weave vxlan

weave 也是使用了VxLAN技術完成的包的封裝，這個技術在weave中稱之為fastdp (fast data path)，與calico和flannel中用到的技術不同的，這里使用的是 Linux 內核中的openvswitch datapath module，并且 weave 對網(wǎng)絡流量進行了加密。

weave fastdp network topology

Notes：fastdp 工作在 Linux 內核版本 3.12 及更高版本，如果低于此版本的例如 CentOS7，weave 將工作在用戶空間，weave 中稱之為sleeve mode