Shkerka.ruзаметки админа
Виртуализация и хранение

Бюджетная виртуализация своими руками на базе Citrix XenServer

Опубликовано: Обновлено: 5 мин чтенияАвтор: Редакция Shkerka.ru

Полноценный узел виртуализации с живой миграцией и высокой доступностью можно собрать без покупки новых серверов и дорогих лицензий. Разбираем путь от расчёта ресурсов до настройки пула, хранилищ и HA на XenServer и его открытом наследнике XCP-ng.

Этап 1. Расчёт ресурсов

Виртуализация начинается не с выбора гипервизора, а с инвентаризации. Для каждого существующего сервера оцените, сколько ему реально нужно процессорных ядер, памяти и дискового пространства с учётом пиковой нагрузки и запаса на рост. Сведите результат в таблицу:

Сервер vCPU Память, ГБ Диск, ГБ
VoIP (Asterisk) 2 8 320
Файловый сервер 2 4 1000
1С и СУБД 4 16 300
Контроллер домена 2 4 80

К итогу добавьте память самого гипервизора (на управляющий домен XenServer закладывайте несколько гигабайт) и место под резервные копии. Главное правило проектирования пула: один узел должен вытянуть все виртуальные машины, иначе высокая доступность останется на бумаге.

Этап 2. Железо без лишних затрат

Покупать новые серверы не обязательно. Списанные серверы из дата-центров на вторичном рынке стоят в разы дешевле новых и для небольших нагрузок вполне пригодны. Типичный бюджетный набор:

  • два сервера под гипервизор с одинаковыми процессорами (в 2016 году «золотой серединой» были двухпроцессорные платформы на Xeon E5-2620);
  • один-два сервера попроще под хранилище NFS или iSCSI;
  • пара управляемых коммутаторов для резервирования сети.

Гипервизор можно поставить на небольшие SSD, а на хранилище вместо аппаратного RAID использовать ZFS: она сама следит за целостностью данных и не привязывает массив к конкретному контроллеру. Если всё же нужен аппаратный RAID на LSI, пригодится заметка о том, почему контроллер не пересобирает массив. Перед покупкой сверьтесь со списком совместимого оборудования гипервизора, иначе установщик может не увидеть контроллер или сетевую карту.

Этап 3. Выбор гипервизора

В 2016 году выбор пал на Citrix XenServer 6.5: бесплатная редакция включала пул серверов, живую миграцию (XenMotion), миграцию дисков между хранилищами, высокую доступность, динамическое управление памятью и графическую консоль XenCenter. Платная редакция добавляла в основном поддержку и ряд функций для VDI.

Что изменилось с тех пор

  • Продукт в 2019 году переименовали в Citrix Hypervisor, а затем вернули имя XenServer. Возможности бесплатной редакции со временем урезались, условия лицензирования проверяйте на сайте вендора для вашей версии.
  • Появился XCP-ng — открытая сборка на базе той же платформы, без ограничений бесплатной редакции. Управляется веб-интерфейсом Xen Orchestra, команды xe те же. Для новой бюджетной инсталляции это наиболее близкая замена.
  • Популярной альтернативой стал Proxmox VE (KVM и контейнеры LXC) со встроенным веб-интерфейсом, кластером и поддержкой ZFS и Ceph.

Ниже шаги описаны для XenServer, но в XCP-ng они выполняются так же.

Установка и пул

Установка гипервизора сводится к выбору языка, раскладки, диска, пароля root и интерфейса управления. После установки сразу поставьте накопительные обновления.

Преимущества виртуализации — миграция и HA — работают только в пуле. В консоли управления добавьте серверы по IP, создайте новый пул, выберите мастер и добавьте в пул остальные хосты. То же из командной строки на подключаемом хосте:

xe pool-join master-address=10.0.0.11 master-username=root master-password=<пароль>

Если процессоры на хостах различаются, пул будет предоставлять виртуальным машинам набор инструкций самого слабого из них. В 6.5 для объединения разнородных хостов приходилось вручную вычислять и задавать маску CPU; в современных версиях это делается автоматически.

Сети

Чтобы машины могли мигрировать между хостами, сетевые настройки на всех хостах пула должны совпадать. Удобно разнести трафик по назначению:

Сеть Назначение
Управление доступ консоли к пулу и живая миграция — чем быстрее, тем лучше
iSCSI диски виртуальных машин на iSCSI-хранилище
NFS диски виртуальных машин на NFS
ISO библиотека установочных образов

Для NFS каналы до хранилища резервируют агрегацией (bonding), для iSCSI — многопутевым доступом (multipathing). Multipathing включается на хосте, переведённом в режим обслуживания. Гипервизор поддерживает VLAN поверх физических карт и внутренние сети без выхода наружу — для изолированного обмена между виртуальными машинами.

Хранилища

Хранилища (SR) бывают двух видов: библиотеки ISO-образов и хранилища виртуальных дисков. Через консоль: Storage → New SR → тип (NFS ISO для библиотеки, NFS VHD или iSCSI для дисков) → адрес ресурса. Из командной строки NFS-хранилище для дисков создаётся так:

xe sr-create name-label="NFS-VM" type=nfs shared=true content-type=user \
  device-config:server=10.0.1.20 device-config:serverpath=/export/vm

Виртуальные машины

Создание машины идёт по шаблону: VM → New VM, выбор шаблона ОС, имени, ISO из библиотеки, хоста, числа vCPU и памяти, диска и сетевого адаптера. После установки гостевой системы обязательно поставьте гостевые утилиты: без них не работают корректное выключение, живая миграция и сбор метрик. В Linux-госте:

mount /dev/cdrom /mnt
/mnt/Linux/install.sh

Высокая доступность

HA перезапускает виртуальные машины на оставшихся хостах, если один из узлов пропал. Для неё нужно общее хранилище под служебные данные (heartbeat). В консоли: Pool → High Availability → выбор хранилища → приоритеты перезапуска машин. Обязательно протестируйте: выключите узел с рабочей машиной и убедитесь, что она поднялась на соседнем. Если отказал мастер, его роль автоматически берёт другой хост.

Сменить мастер вручную:

xe pool-ha-disable
xe host-list
xe pool-designate-new-master host-uuid=<uuid-нового-мастера>
xe pool-ha-enable

Проброс USB

В 6.5 USB-устройство пробрасывали целым контроллером через PCI passthrough:

lspci | grep USB
xe vm-list name-label=<имя-ВМ>
xe vm-param-set other-config:pci=0/0000:00:1d.0 uuid=<uuid-ВМ>
# снять проброс
xe vm-param-remove param-name=other-config param-key=pci uuid=<uuid-ВМ>

Смарт-карты и токены так обычно не работают — для них используют USB-over-IP. В новых версиях XenServer и XCP-ng появился штатный проброс отдельных USB-устройств (команды xe pusb-* и xe vusb-*), порядок смотрите в документации вашей версии.

Об общей логике перехода на виртуальную инфраструктуру — в статье о виртуализации серверов и приложений.

Частые вопросы

Сколько серверов нужно для отказоустойчивого пула?

Минимум два хоста виртуализации и общее хранилище (NFS или iSCSI). Каждый хост должен выдерживать нагрузку всех виртуальных машин пула, иначе при отказе соседа машины некуда будет перезапустить.

Чем XCP-ng отличается от Citrix XenServer?

XCP-ng — открытая сборка на той же кодовой базе Xen и XAPI, без ограничений бесплатной редакции. Команды xe и формат хранилищ совместимы, а для управления обычно используют Xen Orchestra.

Можно ли объединить в пул серверы с разными процессорами?

Да, но пул будет работать с набором инструкций самого старого процессора. В XenServer 6.5 для этого вручную задавали маску CPU, в современных версиях выравнивание выполняется автоматически при добавлении хоста.

Как сменить мастер пула?

Отключите HA командой xe pool-ha-disable, назначьте новый мастер через xe pool-designate-new-master host-uuid=<uuid> и снова включите HA.