Настройка NFS-сервера и iSCSI target для хранилища на Ubuntu
Обычный сервер на Ubuntu с большими дисками легко превратить в сетевое хранилище для кластера виртуализации. Разбираем, как отдать гипервизору каталоги по NFS и блочные устройства по iSCSI, и как организовать второй сервер-зеркало.
Схема хранилища
Задача — предоставить дисковое пространство двум узлам гипервизора. Используются два сервера на Ubuntu:
nfs1— основное хранилище, с которым работают виртуальные машины;nfs2— его копия: туда регулярно складываются данные сnfs1, и при отказе основного сервераnfs2может взять его задачи на себя.
Структура каталогов на обоих серверах одинаковая:
/citrix-vm1
├── iscsi # файлы-диски, отдаваемые по iSCSI
├── iso # установочные образы ОС
└── virtualhost # диски ВМ, отдаваемые по NFS
NFS-сервер
Устанавливаем пакеты:
sudo apt install nfs-kernel-server
На стороне клиента понадобится nfs-common. Сервер NFS в Linux состоит из нескольких демонов:
| Демон | Назначение |
|---|---|
rpc.nfsd |
Основной сервер, обслуживает запросы клиентов |
rpc.mountd |
Обрабатывает запросы на монтирование (NFSv3) |
rpc.statd, lockd |
Блокировки файлов для NFSv3 |
rpc.idmapd |
Сопоставление имён пользователей для NFSv4 |
rpcbind |
Регистрация RPC-служб (нужен для NFSv3) |
Экспорт каталогов
Основной файл конфигурации — /etc/exports. Отдаём каталоги образов и дисков только адресам гипервизоров:
/citrix-vm1/iso 5.5.5.0/24(ro,sync,no_subtree_check)
/citrix-vm1/virtualhost 5.5.5.1(rw,sync,no_subtree_check,no_root_squash) 5.5.5.4(rw,sync,no_subtree_check,no_root_squash)
rw/ro— чтение-запись или только чтение;sync— сервер подтверждает запись только после сброса на диск, это безопаснее для дисков ВМ;no_root_squash— гипервизор работает с файлами от root, поэтому подмену root на nobody для него отключаем;no_subtree_check— отключает проверку поддеревьев, уменьшая число проблем при переименовании файлов.
Применяем изменения и проверяем:
sudo exportfs -ra
sudo exportfs -v
showmount -e localhost
Служебные файлы состояния лежат в /var/lib/nfs/: etab содержит действующий список экспортов, а rmtab — сведения о клиентах, смонтировавших ресурсы. Статистику работы сервера показывает nfsstat.
Проверка с клиента
sudo mkdir -p /mnt/share
sudo mount -t nfs nfs1:/citrix-vm1/virtualhost /mnt/share
df -h /mnt/share
iSCSI target
В терминах iSCSI сервер, отдающий диски, называется target, а клиент, который их подключает, — initiator. Каждый target идентифицируется именем IQN вида iqn.ГГГГ-ММ.обратный.домен:имя.
В Ubuntu есть два варианта реализации target: пользовательский демон tgt (утилиты tgtadm и tgt-admin) и встроенный в ядро LIO (утилита targetcli). Начнём с tgt.
sudo apt install tgt
На стороне клиента-инициатора ставится пакет open-iscsi.
Подготовка файла-диска
Создадим файл размером 50 ГБ, который станет логическим устройством (LUN):
sudo dd if=/dev/zero of=/citrix-vm1/iscsi/disk1.img bs=1M count=51200 status=progress
Если допустим разреженный файл, быстрее выполнить truncate -s 50G /citrix-vm1/iscsi/disk1.img, но для дисков ВМ надёжнее полностью выделенный файл или отдельный LVM-том.
Создание target и LUN командами tgtadm
# новый target с номером 1
sudo tgtadm --lld iscsi --op new --mode target --tid 1 \
-T iqn.2016-06.com.biznes:storage.nfs1
# LUN 1 на основе файла
sudo tgtadm --lld iscsi --op new --mode logicalunit --tid 1 --lun 1 \
-b /citrix-vm1/iscsi/disk1.img
# разрешаем доступ узлам гипервизора
sudo tgtadm --lld iscsi --op bind --mode target --tid 1 -I 5.5.5.1
sudo tgtadm --lld iscsi --op bind --mode target --tid 1 -I 5.5.5.4
# смотрим результат
sudo tgtadm --lld iscsi --op show --mode target
В выводе будут подключённые инициаторы (I_T nexus), список LUN с размером и путём к backing store и список разрешённых адресов (ACL). LUN 0 — служебный контроллер, его создаёт сам tgt.
Сохранение конфигурации
Всё, что сделано через tgtadm, живёт только до перезапуска службы. Выгружаем конфигурацию в файл:
sudo tgt-admin --dump | sudo tee /etc/tgt/conf.d/storage.conf
sudo tgt-admin --update ALL
Файл можно писать и вручную:
<target iqn.2016-06.com.biznes:storage.nfs1>
backing-store /citrix-vm1/iscsi/disk1.img
initiator-address 5.5.5.1
initiator-address 5.5.5.4
</target>
Проверка
Обнаружение target с самого сервера или с клиента:
sudo iscsiadm --mode discovery --type sendtargets --portal 127.0.0.1
sudo iscsiadm --mode node --targetname iqn.2016-06.com.biznes:storage.nfs1 --portal 127.0.0.1 --login
lsblk
После входа в сессию у клиента появится новое блочное устройство.
Второй сервер
На nfs2 повторяются те же шаги с собственным IQN. Для копирования данных с основного сервера подойдёт rsync по расписанию, а для блочной синхронной репликации — DRBD. Помните, что копировать файл-диск работающей ВМ «на ходу» небезопасно: делайте снимок средствами гипервизора или LVM.
Актуальное положение дел
Пакет iscsitarget (IET) из старых версий Ubuntu больше не поставляется. Современная рекомендация — iSCSI target ядра LIO с утилитой targetcli (пакет targetcli-fb): у него есть интерактивная оболочка и сохранение конфигурации командой saveconfig. tgt при этом по-прежнему доступен в Ubuntu 22.04/24.04 и Debian 12.
Citrix XenServer сменил название на Citrix Hypervisor, а затем вернулся к имени XenServer; открытая альтернатива на той же основе — XCP-ng. Хранилища NFS и iSCSI подключаются в них так же. Многие небольшие инсталляции сегодня переходят на Proxmox VE, который тоже поддерживает оба протокола. Пример недорогого кластера описан в статье о бюджетной виртуализации на Citrix XenServer.
Частые вопросы
Что выбрать для дисков виртуальных машин — NFS или iSCSI?
NFS проще в настройке и позволяет хранить образы как обычные файлы, thin provisioning работает из коробки. iSCSI отдаёт блочное устройство, на котором гипервизор строит свой том; это ближе к классической SAN, но сложнее в обслуживании.
Где хранятся настройки tgt?
Командой tgtadm изменения вносятся только в работающую службу и пропадают после перезапуска. Постоянная конфигурация хранится в файлах /etc/tgt/conf.d/*.conf.
Можно ли отдавать по iSCSI файл, а не диск?
Да, backing store может быть файлом. Для производительности лучше использовать раздел, LVM-том или блочное устройство целиком, а файл создавать заранее полного размера.
Как ограничить доступ к NFS-экспорту?
В /etc/exports указывайте конкретные адреса или подсеть хранилища, а не звёздочку. Сеть хранения желательно выделить в отдельный VLAN без доступа пользователей.