本地运行 Kata Containers CI

基于 Vagrant + VirtualBox 方案

Table of Contents

本文主要参考 《Kata Containers CI》，大部分内容是直接从上面的文章中翻译的，但是我会根据我自己的实践，对原文做一定的改变，比如启动虚拟机使用 vagrant 等。Happy hacking on Kata Containers' CI！

Vagrant 安装

这部分内容参见斌哥的《使用 VirtualBox 安装虚拟机开发环境》。

安装 Virtual Box 参见 virtualbox。

$ wget https://download.virtualbox.org/virtualbox/7.1.4/virtualbox-7.1_7.1.4-165100~Ubuntu~jammy_amd64.deb \

    -O virtualbox-7.1.4.deb

$ sudo dpkg -i virtualbox-7.1.4.deb

安装 Vagrant 参见 Install Vagrant，我的测试环境是 ubuntu 22.04，其他的系统参见前面的连接自行安装。

$ wget -O- https://apt.releases.hashicorp.com/gpg | sudo gpg --dearmor -o /usr/share/keyrings/hashicorp-archive-keyring.gpg

$ echo "deb [signed-by=/usr/share/keyrings/hashicorp-archive-keyring.gpg] https://apt.releases.hashicorp.com $(lsb_release -cs) main" | sudo tee /etc/apt/sources.list.d/hashicorp.list

$ sudo apt update && sudo apt install vagrant

安装 vagrant-disksize 插件，否则虚拟机启动会报错。

$ vagrant plugin install vagrant-disksize

安装 vagrant-proxyconf 插件，负责配置代理。

$ vagrant plugin install vagrant-proxyconf

创建虚拟机

首先要确定虚拟机的规格，以 kata-containers-ci-on-push / run-docker-tests-on-garm / run-docker-tests (clh) 这个 CI 测试为例，去 workflows 中找到 run-docker-tests-on-garm.yaml，在 runs-on 可以看到运行的环境是 "garm-ubuntu-2304-smaller"。

OS 对应的 vagrant 镜像

  • Ubuntu-2304: bento/ubuntu-23.04

规格

  • Small: 2 CPUs, 8 GiB
  • Normal: 4 CPUs, 16 GiB

（如果已经有配置，可以跳过本步骤）使用 Vagrant 创建一个 ubuntu-2304-small 规格的虚拟机配置。

$ VM_NAME=kata-ubuntu-2304-small

$ VM_IMAGE=bento/ubuntu-23.04

$ mkdir -p $HOME/vagrant/$VM_NAME

$ cd $HOME/vagrant/$VM_NAME

$ cat > Vagrantfile <<EOF

Vagrant.configure("2") do |config|

  config.disksize.size = "30GB"

  config.vm.box = "$VM_IMAGE"

  config.vm.define "$VM_NAME" do |kata|

    kata.vm.hostname = "$VM_NAME"

    kata.vm.network "private_network", type: "dhcp"

    kata.vm.provider "virtualbox" do |vb|

      vb.cpus = 2

      vb.memory = "8192"

      vb.customize ["modifyvm", :id, "--nested-hw-virt", "on"]

    end

  end



  if Vagrant.has_plugin?("vagrant-proxyconf")

    config.proxy.http = "http://127.0.0.1:7890/"

    config.proxy.https = "http://127.0.0.1:7890/"

    config.proxy.no_proxy = "localhost,127.0.0.1,.example.com,10.0.0.0/8,192.168.0.0/16"

  end

 end

EOF

启动虚拟机，启动之前请确保其它虚拟机/ Kata 容器没有启动。如果启动失败，可以尝试的工作是（1）杀掉其他占用 KVM 的进程，比如Kata 容器。（2）重启机器。

$ vagrant destroy -f

$ vagrant up

通过 SSH 连接虚拟机。

# 如果你本地有一个 http 代理监听在 localhost:7890

# `-R` 是反向端口转发， guest 访问 localhost:7890 会被转发到 host 的 7890 端口；

# `-L` 是正向端口转发，host 访问 localhost:7890 -> guest:7890。

$ vagrant ssh -- -R 7890:localhost:7890

# 如果你不希望使用本机代理

$ vagrant ssh

构建测试环境

访问 workflows/ci-on-push.yaml 找到失败的 CI 测试项目，进入 "Summary" 页面，找到 "kata-static-tarball-amd64" 开头的文件，下载到本地并解压缩，最终获得 "kata-static.tar.xz" 文件。

将 tarball 上传到虚拟环境的 /vagrant，vagrant 自动建立了一个共享路径，host 上是 Vagrantfile 的目录，guest 上是 /vagrant。这一步的目的是把 kata-static-tarball-xxx.zip 文件解压缩获得 kata-static.tar.xz 文件，然后上传到 host 的当前虚拟机根目录（$HOME/vagrant/kata-ubuntu-2304-small）。

# on macOS（这是我自己的方案）

$ unzip ~/Downloads/kata-static-tarball* -d ~/Downloads

$ scp ~/Downloads/kata-static.tar.xz devant:/home/nxw/vagrant/kata-ubuntu-2304-small

$ rm -rf ~/Downloads/kata-static-tarball* && rm -rf ~/Downloads/kata-static.tar.xz

初始化 git 仓库。

# on Guest

$ BRANCH=

$ git clone --branch $BRANCH https://github.com/justxuewei/kata-containers.git

$ cd kata-containers

$ git remote add upstream https://github.com/kata-containers/kata-containers

$ git remote update

$ git config --global user.email "[email protected]"

$ git config --global user.name "Your Name"

$ git rebase upstream/main

拷贝 tarball 到指定目录。

# on Guest

$ mkdir kata-artifacts

$ cp /vagrant/kata-static.tar.xz $(pwd)/kata-artifacts

编译并替换组件

安装 Golang

$ cd $HOME

$ wget https://go.dev/dl/go1.21.3.linux-amd64.tar.gz

$ sudo sh -c "rm -rf /usr/local/go && tar -C /usr/local -xzf go1.21.3.linux-amd64.tar.gz"

$ echo "export PATH=$PATH:/usr/local/go/bin" >> $HOME/.profile

$ source $HOME/.profile

$ go version

编译 Runtime-go

$ pushd src/runtime

$ make

$ sudo cp containerd-shim-kata-v2 /usr/local/bin

$ sudo mkdir -p /etc/kata-containers

$ sudo ln -s /opt/kata/share/defaults/kata-containers/configuration.toml /etc/kata-containers

$ popd

非 k8s 测试

不同的测试都需要下面两种 URL，这里以我自己的一个失败的 workflow 为例，请自行替换为自己需要的地址。

名称 URL
失败 CI 测试 https://github.com/kata-containers/kata-containers/actions/runs/6477220767/job/17587584112?pr=7531#logs
CI workflow 定义 https://github.com/kata-containers/kata-containers/blob/main/.github/workflows/run-docker-tests-on-garm.yaml

测试步骤记录在 run-docker-tests-on-garm.yaml。

安装 Kata Containers 依赖

# 任选一种 hypervisor

$ export KATA_HYPERVISOR=qemu

$ export KATA_HYPERVISOR=clh

# runtime-rs

$ export KATA_HYPERVISOR=dragonball

$ export KATA_HYPERVISOR=cloud-hypervisor



# 安装 docker

$ sudo apt-get install docker-ce docker-ce-cli

$ sudo mkdir -p /etc/systemd/system/docker.service.d

$ sudo sh -c 'cat > /etc/systemd/system/docker.service.d/http-proxy.conf <<EOF

[Service]

Environment="HTTP_PROXY=http://127.0.0.1:7890"

Environment="HTTPS_PROXY=http://127.0.0.1:7890"

Environment="NO_PROXY=$NO_PROXY,10.0.0.0/8,192.168.0.0/16"

EOF'

$ sudo systemctl daemon-reload \

  && sudo systemctl restart docker





$ bash tests/integration/docker/gha-run.sh install-dependencies

$ bash tests/integration/docker/gha-run.sh install-kata kata-artifacts

启动 debug 日志

# 启用 debug 日志

$ sudo chmod +w /opt/kata/share/defaults/kata-containers/runtime-rs/configuration.toml

$ sudo sed -i 's/#enable_debug = true/enable_debug = true/' /opt/kata/share/defaults/kata-containers/configuration.toml

$ sudo sh -c "echo '[debug]

        level = \"debug\"' >> /etc/containerd/config.toml"

$ sudo systemctl restart containerd

开始调试。

$ bash tests/integration/docker/gha-run.sh run

导出 containerd 日志。

$ sudo journalctl -xe --unit containerd > /tmp/containerd.txt

$ vim /tmp/containerd.txt

导出 shim 日志。

$ sudo journalctl -t kata > /tmp/kata.txt

$ vim /tmp/kata.txt

清理

$ vagrant destroy -f

$ rm ./kata-static.tar.xz

K8s 测试

仅测试了 Kubernetes on AKS，其他的等待补充。

使用 kubeadm 创建单节点 k8s 集群。

# 安装 containerd

$ CONTAINERD_VERSION="1.6.8"

$ wget https://github.com/containerd/containerd/releases/download/v$CONTAINERD_VERSION/containerd-$CONTAINERD_VERSION-linux-amd64.tar.gz

$ sudo tar Cxzvf /usr/local containerd-$CONTAINERD_VERSION-linux-amd64.tar.gz

$ sudo sh -c "wget -qO - https://raw.githubusercontent.com/containerd/containerd/main/containerd.service > /lib/systemd/system/containerd.service"

$ sudo vim /lib/systemd/system/containerd.service

# 添加两行

# Environment="HTTP_PROXY=http://127.0.0.1:7890"

# Environment="HTTPS_PROXY=http://127.0.0.1:7890"

# Environment="NO_PROXY=localhost,127.0.0.1,.example.com,10.0.0.0/8,192.168.0.0/16"

$ sudo systemctl daemon-reload

$ sudo systemctl enable --now containerd

$ sudo mkdir -p /etc/containerd

$ sudo sh -c "containerd config default > /etc/containerd/config.toml"

$ sudo systemctl restart containerd



# 安装 runc

$ sudo apt install runc



# 安装 kubectl & kubeadm

$ sudo apt-get install -y apt-transport-https ca-certificates curl gpg

$ curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.26/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg

$ echo 'deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.26/deb/ /' | sudo tee /etc/apt/sources.list.d/kubernetes.list

$ sudo apt-get update

$ sudo apt-get install -y kubelet kubeadm kubectl

$ sudo apt-mark hold kubelet kubeadm kubectl



# 设置网络

$ cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf

overlay

br_netfilter

EOF

$ sudo modprobe -a overlay br_netfilter

$ cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf

net.bridge.bridge-nf-call-iptables  = 1

net.bridge.bridge-nf-call-ip6tables = 1

net.ipv4.ip_forward                 = 1

EOF

$ sudo sysctl --system



# 降级 cgroup 版本至 v1

$ sudo vim /etc/default/grub

向 GRUB_CMDLINE_LINUX 插入一条 systemd.unified_cgroup_hierarchy=0

$ sudo update-grub

$ sudo reboot

$ cat /sys/fs/cgroup/cgroup.controllers

cat: /sys/fs/cgroup/cgroup.controllers: No such file or directory



# 安装 CNI

$ git clone https://github.com/containernetworking/plugins.git cni-plugins

$ cd cni-plugins

$ git checkout tags/v1.4.1 -b v1.4.1

$ ./build_linux.sh

$ sudo mkdir -p /opt/cni/bin

$ sudo cp bin/* /opt/cni/bin/



# CNI 配置

$ sudo mkdir -p /etc/cni/net.d

$ sudo sh -c 'cat > /etc/cni/net.d/10-mynet.conf <<EOF

{

  "cniVersion": "0.2.0",

  "name": "mynet",

  "type": "bridge",

  "bridge": "cni0",

  "isGateway": true,

  "ipMasq": true,

  "ipam": {

    "type": "host-local",

    "subnet": "172.19.0.0/24",

    "routes": [

      { "dst": "0.0.0.0/0" }

    ]

  }

}

EOF'

启动 k8s 集群

# 一定要进入 root 之后再设置 proxy

$ sudo su

$ export no_proxy="$no_proxy,10.0.0.0/8,192.168.0.0/16" \

    && export NO_PROXY="$NO_PROXY,10.0.0.0/8,192.168.0.0/16" \

    && echo "no_proxy: $no_proxy" \

    && echo "NO_PROXY=$NO_PROXY"  

$ swapoff -a

$ kubeadm config images pull \

  --image-repository=registry.cn-hangzhou.aliyuncs.com/google_containers

$ kubeadm init \

  --image-repository=registry.cn-hangzhou.aliyuncs.com/google_containers \

  --pod-network-cidr=192.168.0.0/16



# 设置 kubectl 配置

$ mkdir -p $HOME/.kube

$ cp -i /etc/kubernetes/admin.conf $HOME/.kube/config \

  && sudo chown $(id -u):$(id -g) $HOME/.kube/config



# 清除污点

$ kubectl taint nodes --all node-role.kubernetes.io/control-plane-



# 安装 CNI

# calico

$ kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.26.4/manifests/tigera-operator.yaml

$ kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.26.4/manifests/custom-resources.yaml

# 等待所有 pod running

$ watch kubectl get pods -n calico-system



# 安装 yq（需要有代理的环境）

$ cd go/to/kata-containers

$ ./ci/install_yq.sh



# 安装 bats

$ sudo apt install bats

安装 Kata 环境

# 任选一种 hypervisor

$ export KATA_HYPERVISOR=qemu

$ export KATA_HYPERVISOR=clh

# runtime-rs

$ export KATA_HYPERVISOR=dragonball

$ export KATA_HYPERVISOR=cloud-hypervisor



$ cd go/to/kata-containers

# 记得修改 sleep 240s -> sleep 60s

$ bash tests/integration/kubernetes/gha-run.sh deploy-kata-aks

不知道为什么，有时候运行完脚本后 runtimeclass 不能够正确被配置，因此需要手动检查配置是否正确（以 cloud-hypervisor 为例）。

$ rm -rf /usr/local/bin/containerd-shim-kata-v2; \

  rm -rf /usr/local/bin/containerd-shim-kata-runtime-rs-v2

$ ln -s /opt/kata/runtime-rs/bin/containerd-shim-kata-v2 \

    /usr/local/bin/containerd-shim-kata-runtime-rs-v2; \

  ln -s /opt/kata/bin/containerd-shim-kata-v2 \

    /usr/local/bin/containerd-shim-kata-v2

$ kubectl get runtimeclass

NAME                    HANDLER                 AGE

kata                    kata-cloud-hypervisor   109m

kata-cloud-hypervisor   kata-cloud-hypervisor   109m

$ kubectl describe runtimeclass kata

Handler:      kata-cloud-hypervisor

$ kubectl describe runtimeclass kata-cloud-hypervisor

Handler:      kata-cloud-hypervisor

$ vim /etc/containerd/config.toml

# 1. 搜索 "containerd.runtimes"

# 2. 如果没有 [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.kata-cloud-hypervisor] 就需要添加

# 3.添加以下东西：

        [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.kata-cloud-hypervisor]

          runtime_type = "io.containerd.kata-runtime-rs.v2"

          [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.kata-cloud-hypervisor.options]

            ConfigPath = "/opt/kata/share/defaults/kata-containers/runtime-rs/configuration-cloud-hypervisor.toml"

# 最后重启 containerd 和 kubelet

$ sudo systemctl restart containerd && sudo systemctl restart kubelet

常见的集中 hypervisors 的配置项

  • cloud-hypervisor
    • runtime_type: io.containerd.kata-runtime-rs.v2
    • ConfigPath: /opt/kata/share/defaults/kata-containers/runtime-rs/configuration-cloud-hypervisor.toml

启动测试（需要根据 CI 测试执行什么命令来确定）

$ bash tests/integration/kubernetes/gha-run.sh run-tests

如果虚拟机重启需要做的事情

$ sudo su



# 关闭 swap

$ swapoff -a

$ systemctl restart kubelet



# 禁用 proxy envs

$ export no_proxy="$no_proxy,10.0.0.0/8,192.168.0.0/16" \

    && export NO_PROXY="$NO_PROXY,10.0.0.0/8,192.168.0.0/16" \

    && echo "no_proxy: $no_proxy" \

    && echo "NO_PROXY=$NO_PROXY"



# 任选一种 hypervisor

$ export KATA_HYPERVISOR=qemu

$ export KATA_HYPERVISOR=clh

# runtime-rs

$ export KATA_HYPERVISOR=dragonball

$ export KATA_HYPERVISOR=cloud-hypervisor
All rights reserved
Except where otherwise noted, content on this page is copyrighted.