Это старая версия документа!

Различные советы и секреты по установке сервера виртуализации

Подготовка сервера

BIOS

Для процессоров >=Sandy Bridge HT включаем, для более ранних выключаем
Если хотим максимальной производительности, то
- C1E Support > disabled (on Fujitsu servers is called «Enhanced Halt State (C1E)»)
- Intel C-State > disabled
- Enhanced Intel Speedstep Tech : off (dynamic frequency)
- Max performance > ON (Turbo mode)
Включить поддержку IOMMU (SR-IOV)

Proxmox VE

Заменим репозитарий на бесплатный (для версии 7):

#> cd /etc/apt/sources.list.d/
#> cat ./pve-enterprise.list
#deb https://enterprise.proxmox.com/debian/pve bullseye pve-enterprise
deb http://download.proxmox.com/debian/pve bullseye pve-no-subscription

Установим полезные пакеты:

apt install net-tools traceroute mc sudo iotop
apt install lm-sensors && sensors-detect

проброс pci(e) устройств

Надо почитать тут (но в доке ошибка - нет упоминания что надо делать update-grub). Далее процесс коротко:

в параметр GRUB_CMDLINE_LINUX_DEFAULT, файла /etc/default/grub, добавить intel_iommu=on (и, если нужно, iommu=pt)
в /etc/modules добавить:

vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

создать файл /etc/modprobe.d/vfio.conf, с содержимым:

options vfio_iommu_type1 allow_unsafe_interrupts=1

сделать update-grub && update-initramfs -u -k all
перезагрузить систему
убедится что параметры ядра применились: cat /proc/cmdline
убедится что IOMMU включен dmesg | grep -e DMAR -e IOMMU -e AMD-Vi
увидеть группы IOMMU find /sys/kernel/iommu_groups/ -type l

Мониторинг при помощи zabbix

Установим агента и дополнительные утилиты:

apt install zabbix-agent jq

Отключение обновления ядра

Обновление ядра требует перезагрузки системы, если сервер работает в производственном режиме не всегда возможно осуществить это. Поэтому посмотрим какая версия ядра у нас (в примере, uname выдал 5.15) и заблокируем обновление:

uname -a
apt-mark hold pve-firmware pve-kernel-5.15