6.16 虚拟化进阶——Proxmox VE / ESXi / GPU 透传 VFIO

预计阅读时间：16 分钟

学习目标

• 能安装 Proxmox VE 并组建多节点集群，理解 corosync 仲裁与 QDevice 机制
• 能使用 pct/pve 命令管理 KVM 虚拟机与 LXC 容器，并配置共享存储实现节点间迁移
• 能部署 ESXi/vSphere，了解 vCenter 的 DRS、HA、vMotion 能力与许可政策变化
• 能启用 IOMMU 并通过 VFIO 将 GPU 透传给虚拟机，处理驱动绑定与黑屏问题
• 能对比 Proxmox、ESXi 等方案并规划虚拟化与容器的混合部署架构
• 理解 VLAN/Linux Bridge 在混合部署网络规划中的作用

前置知识

• 5.3：KVM 虚拟化 KVM 虚拟化——virsh/libvirt 虚拟机管理基础，PVE 在其之上封装
• 6.1：容器底层原理 容器底层原理——namespace/cgroups 是理解 LXC 与混合部署选型的前提
• 2.5：时间管理与日志 磁盘与存储管理——LVM、文件系统与挂载是虚拟机磁盘与共享存储的基础
• 5.2：Docker 生产实践 Docker 生产实践——容器侧的生产化经验用于虚拟机内跑容器的场景

一、Proxmox VE 安装与集群管理

1.1 安装 Proxmox VE

Proxmox VE（PVE）是基于 Debian 的开源虚拟化平台，集 KVM 虚拟机与 LXC 容器于一体，提供 Web 管理界面和命令行两种操作方式。从官网下载 ISO 镜像并制作启动盘后，按向导完成安装即可。

# 安装完成后更新源，移除企业版仓库
rm /etc/apt/sources.list.d/pve-enterprise.list

# 添加 PVE 无订阅源
echo "deb http://download.proxmox.com/debian/pve bookworm pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list

apt update && apt full-upgrade -y

1.2 集群管理

多节点 PVE 可组建集群，通过 Web 界面或命令行添加节点：

# 在主节点上创建集群
pvecm create my-cluster

# 在其他节点上加入集群（替换为实际 IP）
pvecm add 192.168.1.100

# 查看集群状态
pvecm status

# 查看所有节点
pvecm nodes

集群搭建后，可通过 Web 界面在节点间迁移虚拟机（需配置共享存储），实现高可用（HA）和负载均衡。使用 corosync 管理集群通信，支持三节点及以上仲裁。

# 在 Web 界面添加共享存储示例（NFS）
pvesm add nfs shared-nfs --server 192.168.1.200 --export /data/pve --content images,iso,vztmpl

需要高性能共享存储时使用 Ceph。PVE 安装包自带 Ceph 组件，三节点即可组最小集群（生产建议每节点独立 OSD 盘）：

# 1. 在每个节点安装 Ceph（Web 界面 → Ceph → 安装 或命令行）
pveceph install

# 2. 创建 Ceph 集群并初始化 MON（仅主节点执行一次）
pveceph init --network 192.168.1.0/24
pveceph createmon
pveceph createmgr

# 3. 每节点创建 OSD（/dev/sdb 为专用数据盘）
pveceph createosd /dev/sdb

# 4. 创建 CephFS 元数据服务器与存储池
pveceph createmds cephfs
pveceph createpool ceph-pool --add_storages

# 5. 验证存储可用
ceph -s                 # HEALTH_OK 即正常
pvesm status            # ceph-pool 状态 active

Ceph 提供副本冗余（默认 size 3、min_size 2），任意一节点宕机不影响虚拟机运行，是 PVE HA 与在线迁移的前提条件之一。

1.3 常用管理命令

# 列出所有虚拟机
qm list

# 启动/关闭虚拟机
qm start 100
qm shutdown 100

# 创建虚拟机模板
qm template 100

# 克隆模板
qm clone 100 101 --name new-vm --full

# LXC 容器管理
pct start 200
pct stop 200
pct enter 200

1.4 备份与迁移（vzdump）

vzdump 是 PVE 自带备份工具，支持停机备份与在线备份（有快照能力的存储），结果以 tar 归档形式存放，可一键恢复：

# 备份单个虚拟机到本地存储
vzdump 100 --mode snapshot --compress zstd --storage local

# 备份所有虚拟机（排除模板）
vzdump --all --mode snapshot --compress zstd --storage local \
  --mailto admin@example.com --mailnotification always

# 列出备份文件
ls -lh /var/lib/vz/dump/

# 恢复虚拟机（自动创建新 VMID）
qmrestore /var/lib/vz/dump/vzdump-qemu-100-20260731_120000.tar.zst 200

# 定时备份：写入 cron，每天凌晨 2 点执行
0 2 * * * /usr/sbin/vzdump --all --mode snapshot --compress zstd \
  --storage local >> /var/log/vzdump-cron.log 2>&1

节点间在线迁移（Live Migration）：源节点与目标节点必须加入同一集群、虚拟机磁盘位于共享存储（NFS/Ceph），CPU 类型需兼容：

# 命令行迁移虚拟机 100 到节点 pve2（不中断服务）
qm migrate 100 pve2 --online

# 迁移前检查集群与存储状态
pvecm status
pvesm status
qm status 100

二、VMware ESXi / vSphere 简介

2.1 ESXi 安装与配置

VMware ESXi 是企业级 Type-1 裸金属虚拟化平台。安装过程类似 PVE，从 VMware 官网下载镜像后通过 USB 或 PXE 部署。安装完成后通过 vSphere Client（HTML5）连接管理。

# ESXi Shell 常用命令
esxcli system version get          # 查看版本
esxcli network ip interface list   # 查看网卡
esxcli storage nmp device list     # 查看存储设备
vim-cmd hostsvc/hostsummary        # 主机摘要

2.2 vCenter 与集群

vCenter Server 是 VMware 的集中管理平台，支持 DRS（动态资源调度）、HA（高可用）、vMotion（实时迁移）等功能。vCenter 可部署为 Windows 版或 Linux 版（vCenter Server Appliance）。

2.3 网络、存储与模板管理

vSphere 的网络与存储通过标准交换机/分布式交换机与数据存储组织。ESXi 上的网络配置在 Web 界面或命令行完成：

# 创建 vSwitch 与端口组（等价于 PVE 的 Linux Bridge）
esxcli network vswitch standard add --vswitch-name=vSwitch1
esxcli network vswitch standard uplink add --vswitch-name=vSwitch1 --uplink-name=vmnic1
esxcli network vswitch standard portgroup add \
  --vswitch-name=vSwitch1 --portgroup-name=VM-Network-10

# 查看网络拓扑
esxcli network vswitch standard list
esxcli network ip interface list

# 存储：查看数据存储与 HBA 设备
esxcli storage filesystem list
esxcli storage core device list

# 新建 VMFS 数据存储（/dev/sdb 整盘）
vmkfstools -C vmfs6 -S datastore1 /dev/sdb

# 创建厚置备/精简置备虚拟磁盘
vmkfstools -c 40G -d thin /vmfs/volumes/datastore1/test.vmdk

模板（Template）与自定义规范（Customization Spec）是批量交付虚拟机的标准做法：先安装一台基准机并安装 VMware Tools，关机后转换为模板；克隆时套用自定义规范自动配置主机名、IP 与 SID（Windows），避免手工逐台配置：

# 通过 PowerCLI 克隆模板并指定计算资源
Connect-VIServer vcenter.example.com
Get-Template -Name "rhel9-base" | New-VM -Name "web-01" \
  -Datastore "datastore1" -ResourcePool "prod" \
  -OSCustomizationSpec "rhel9-spec"

三、GPU 透传 VFIO（IOMMU 配置、驱动绑定）

3.1 什么是 GPU 透传

GPU 透传（GPU Passthrough）通过 IOMMU（I/O Memory Management Unit）技术，将物理 GPU 直接分配给虚拟机使用，避免虚拟化层开销，使虚拟机获得接近原生的 GPU 性能。适用于 AI 训练、3D 渲染、视频编辑等对 GPU 性能要求较高的场景。

3.2 IOMMU 配置

首先确认 CPU 支持 IOMMU（Intel VT-d 或 AMD-Vi）：

# 检查 CPU 是否支持 IOMMU（VT-d/AMD-Vi 不出现在 /proc/cpuinfo，以 dmesg 为准）
dmesg | grep -i iommu
# 或（仅证明 CPU 虚拟化扩展存在，不证明 IOMMU 可用）
grep -E 'vmx|svm' /proc/cpuinfo

# 查看 IOMMU 分组
for d in /sys/kernel/iommu_groups/*/devices/*; do
  n=${d#*/iommu_groups/}; n=${n%%/*}
  printf 'IOMMU Group %s: ' "$n"
  lspci -nns "${d##*/}"
done | sort -V

在 GRUB 中启用 IOMMU：

# Intel CPU
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"

# AMD CPU
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on iommu=pt"

# 更新 GRUB
update-grub
reboot

3.3 驱动绑定与 VFIO 配置

找到 GPU 的 PCI ID 并绑定 vfio-pci 驱动：

# 查看 GPU 的 PCI ID
lspci -nn | grep -i nvidia
# 输出示例: 01:00.0 VGA compatible controller [0300]: NVIDIA Corporation GA102 [10de:2204]

# 加载 vfio-pci 模块
modprobe vfio-pci

# 将 GPU 绑定到 vfio-pci（替换为实际 ID）
echo "10de 2204" > /sys/bus/pci/drivers/vfio-pci/new_id
echo "0000:01:00.0" > /sys/bus/pci/drivers/vfio-pci/bind

# 配置开机自动绑定（/etc/modules）
echo "vfio-pci" >> /etc/modules
echo "options vfio-pci ids=10de:2204" >> /etc/modprobe.d/vfio.conf
update-initramfs -u

在 Proxmox VE 中为虚拟机添加 GPU：

# 编辑虚拟机配置 /etc/pve/qemu-server/100.conf
args: -device vfio-pci,host=01:00.0,multifunction=on

宿主机侧必须禁止 GPU 原生驱动加载，否则 vfio-pci 绑定会失败（nouveau 或 nvidia 会抢先占用设备）：

# /etc/modprobe.d/blacklist-gpu.conf —— 屏蔽宿主机显卡驱动
blacklist nouveau
blacklist nvidia
blacklist nvidiafb
# 可选：屏蔽音频控制器驱动（GPU 自带 HDMI 声卡）
blacklist snd_hda_intel

# /etc/modprobe.d/vfio.conf —— 开机即绑定 vfio-pci
options vfio-pci ids=10de:2204,10de:1aef
softdep nvidia pre: vfio-pci

# 重建 initramfs 并重启
update-initramfs -u
reboot

# 重启后验证：GPU 已被 vfio-pci 接管
lspci -nnk -d 10de:2204
# 输出示例: Kernel driver in use: vfio-pci

原生 KVM（libvirt）环境不使用 PVE，而是在虚拟机 XML 中直接声明直通设备。开启 managed='yes' 后 libvirt 会自动完成宿主机的驱动解绑与 vfio-pci 绑定：

# virsh edit win11 —— 在 <devices> 中添加
<hostdev mode='subsystem' type='pci' managed='yes'>
    <source>
        <address domain='0x0000' bus='0x01' slot='0x00' function='0x0'/>
    </source>
    <address type='pci' domain='0x0000' bus='0x00' slot='0x06' function='0x0'/>
</hostdev>

# 同一 IOMMU Group 的声卡设备也要一并直通（否则虚拟机无法使用 HDMI 音频）
# lspci -nnk 输出中 01:00.1 即显卡的音频功能，同样添加一个 hostdev 条目

3.4 验证 GPU 透传

# 在虚拟机内验证
lspci | grep -i nvidia
nvidia-smi   # 如果已安装驱动，应显示 GPU 信息

四、KVM vs VMware vs Proxmox 对比

4.1 虚拟化开销与性能对比

虚拟化层性能开销是选型的重要依据。以下为同配置物理机（E5-2680 v4 ×2 / 128GB / SSD）上运行相同基准测试的典型经验数据，供参考：

虚拟化网络方案对比

五、虚拟化与容器的混合部署

5.1 为什么需要混合部署

虚拟机提供强隔离和完整的操作系统环境，适合运行不同内核或异构系统；容器提供轻量级、快速启动和高密度部署。混合部署可以在同一物理服务器上同时利用两者优势。

5.2 Proxmox VE 中的混合方案

Proxmox 同时支持 KVM 虚拟机和 LXC 容器，是最便捷的混合部署平台：

# 创建 LXC 容器
pct create 200 local:vztmpl/debian-12-standard_12.2-1_amd64.tar.zst \
  --hostname web-server \
  --memory 512 \
  --swap 512 \
  --cores 2 \
  --net0 name=eth0,bridge=vmbr0,ip=192.168.1.210/24,gw=192.168.1.1

# 启动容器
pct start 200

# 在容器内安装 Docker（特权容器）
# 挂载宿主机 /dev/fuse 给容器 mp0 使用（--unmount 不是 pct set 的合法选项，
# 卸载请用 pct unmount 200 mp0）
pct set 200 --mp0 /dev/fuse --unprivileged 0
pct enter 200
curl -fsSL https://get.docker.com | sh

5.3 在 KVM 虚拟机中运行容器

在 KVM 虚拟机内部署 Docker 是另一种常见模式，适合需要更强隔离的场景：

# 在 Ubuntu 虚拟机中安装 Docker
apt install -y docker.io docker-compose-plugin
systemctl enable --now docker

# 运行容器
docker run -d --name nginx -p 80:80 nginx:alpine

5.4 架构选型建议

PVE 网络规划建议

PVE 备份策略建议

# 配置 PVE 自动备份到远程 NFS
# 在 Web 界面 → 数据中心 → 备份 → 添加
# 存储：shared-nfs
# 模式：snapshot
# 计划：每日 02:00
# 保留：7 天

# 命令行配置
cat >> /etc/pve/storage.cfg <<EOF
nfs: shared-nfs
    path /mnt/pve/shared-nfs
    server 192.168.1.200
    export /data/pve
    content backup
EOF

常见错误

• IOMMU 分组不理想：某些主板将多个设备放在同一 IOMMU Group 中，导致无法单独透传 GPU。解决方案：启用 ACS Override Patch 或更换支持 ACS 的主板。
• GPU 透传后虚拟机黑屏：通常是 vBIOS 不兼容或显卡驱动未正确安装。尝试在 VM 配置中添加 rombar=0，或使用 GPU 的 vBIOS ROM 文件手动注入。
• Proxmox 集群仲裁失败：三节点集群中一个节点离线后，剩余两个节点无法形成多数票。确保集群至少有三台节点，或配置 QDevice（如第三个仲裁设备）解决两节点场景。
• ESXi 许可证过期：Broadcom 收购后许可政策变更，旧的永久许可证可能失效。需登录 VMware 客户门户确认当前订阅状态，或迁移到开源替代方案。
• VFIO 驱动绑定失败：GPU 仍被宿主机驱动（如 nouveau 或 nvidia）占用。需在绑定前先卸载宿主机驱动，或通过 blacklist 禁用。

最佳实践

• GPU 透传前先备份：修改 GRUB 参数、initramfs 和模块配置前务必备份关键文件，避免启动失败导致系统无法进入。
• 集群使用偶数节点或 QDevice：两节点 PVE 集群无法自仲裁，建议部署第三个轻量节点或使用 QDevice 解决方案，保证 HA 故障切换正常工作。
• 生产环境使用企业版仓库：无订阅源可能引入未经充分测试的更新，生产环境应购买 PVE 订阅以获取稳定的企业仓库支持。
• VLAN 隔离网络流量：混合部署时使用 VLAN 或 Linux Bridge 隔离不同虚拟机和容器的网络，配合防火墙规则精细控制访问策略。
• 测试环境先行：VFIO 配置因主板、BIOS、GPU 型号差异很大，务必先在测试环境中验证透传可行性，再应用到生产环境。

故障排查案例：GPU 透传后虚拟机启动黑屏

现象：PVE 中为虚拟机配置了 GPU 透传，启动后虚拟机 BIOS 画面正常，但进入操作系统后黑屏，无任何显示输出。

排查：在 PVE 宿主机上执行 dmesg | grep -i vfio，发现 vfio-pci 0000:01:00.0: Device is ineligible for IOMMU fault handling；检查 IOMMU 分组发现 GPU（01:00.0）和其音频控制器（01:00.1）在同一分组，但只透传了 01:00.0。

根因：同一 IOMMU 分组内的设备必须全部透传，否则 IOMMU 隔离失败，GPU 无法正常工作。

修复：① 在 PVE 虚拟机配置中添加音频控制器：args: -device vfio-pci,host=01:00.0,multifunction=on -device vfio-pci,host=01:00.1；② 或使用 ACS Override Patch 重新划分 IOMMU 分组（需权衡安全性）；③ 重启虚拟机后验证 nvidia-smi 输出正常。

# 排查 IOMMU 分组
for d in /sys/kernel/iommu_groups/*/devices/*; do
  n=${d#*/iommu_groups/}; n=${n%%/*}
  printf 'IOMMU Group %s: ' "$n"
  lspci -nns "${d##*/}"
done | sort -V | grep -A5 "01:00"

# 检查 vfio-pci 驱动绑定状态
lspci -nnk -d 10de:2204
# 输出应为: Kernel driver in use: vfio-pci

# 虚拟机配置（添加两个设备）
# /etc/pve/qemu-server/100.conf
args: -device vfio-pci,host=01:00.0,multifunction=on -device vfio-pci,host=01:00.1

练习题

1. 搭建三节点 PVE 集群：在三台虚拟机（或物理机）上安装 Proxmox VE，创建集群，配置共享存储（NFS 或 CIFS），并尝试在节点间迁移一台虚拟机。
2. 配置 GPU 透传：在支持 IOMMU 的宿主机上，将一张 GPU 透传给 KVM 虚拟机，安装 NVIDIA 驱动后运行 nvidia-smi 验证性能。
3. 架构对比分析：分别在 Proxmox VE 和 ESXi 上创建一台相同配置的虚拟机，对比两者在资源占用、管理界面易用性、功能完整性方面的差异，撰写对比报告。

学习检查点

学完本章后，请检验自己是否掌握以下内容：

本章总结

Proxmox VE 与 ESXi 代表了开源与商业两条路线：PVE 免费灵活、适合自建与 Homelab，ESXi 生态成熟、适合企业生产，选择取决于预算、合规与运维能力。GPU 透传通过 IOMMU/VFIO 让虚拟机获得接近原生的性能，但硬件兼容性差异大，必须在测试环境先行验证。虚拟化与容器的混合部署能兼顾强隔离与高密度，成败关键在于网络与存储规划。

延伸阅读