Shkerka.ruзаметки админа
Linux и FreeBSD

Настройка NFS-сервера и iSCSI target для хранилища на Ubuntu

Опубликовано: Обновлено: 4 мин чтенияАвтор: Редакция Shkerka.ru

Обычный сервер на Ubuntu с большими дисками легко превратить в сетевое хранилище для кластера виртуализации. Разбираем, как отдать гипервизору каталоги по NFS и блочные устройства по iSCSI, и как организовать второй сервер-зеркало.

Схема хранилища

Задача — предоставить дисковое пространство двум узлам гипервизора. Используются два сервера на Ubuntu:

  • nfs1 — основное хранилище, с которым работают виртуальные машины;
  • nfs2 — его копия: туда регулярно складываются данные с nfs1, и при отказе основного сервера nfs2 может взять его задачи на себя.

Структура каталогов на обоих серверах одинаковая:

/citrix-vm1
├── iscsi        # файлы-диски, отдаваемые по iSCSI
├── iso          # установочные образы ОС
└── virtualhost  # диски ВМ, отдаваемые по NFS

NFS-сервер

Устанавливаем пакеты:

sudo apt install nfs-kernel-server

На стороне клиента понадобится nfs-common. Сервер NFS в Linux состоит из нескольких демонов:

Демон Назначение
rpc.nfsd Основной сервер, обслуживает запросы клиентов
rpc.mountd Обрабатывает запросы на монтирование (NFSv3)
rpc.statd, lockd Блокировки файлов для NFSv3
rpc.idmapd Сопоставление имён пользователей для NFSv4
rpcbind Регистрация RPC-служб (нужен для NFSv3)

Экспорт каталогов

Основной файл конфигурации — /etc/exports. Отдаём каталоги образов и дисков только адресам гипервизоров:

/citrix-vm1/iso          5.5.5.0/24(ro,sync,no_subtree_check)
/citrix-vm1/virtualhost  5.5.5.1(rw,sync,no_subtree_check,no_root_squash) 5.5.5.4(rw,sync,no_subtree_check,no_root_squash)
  • rw / ro — чтение-запись или только чтение;
  • sync — сервер подтверждает запись только после сброса на диск, это безопаснее для дисков ВМ;
  • no_root_squash — гипервизор работает с файлами от root, поэтому подмену root на nobody для него отключаем;
  • no_subtree_check — отключает проверку поддеревьев, уменьшая число проблем при переименовании файлов.

Применяем изменения и проверяем:

sudo exportfs -ra
sudo exportfs -v
showmount -e localhost

Служебные файлы состояния лежат в /var/lib/nfs/: etab содержит действующий список экспортов, а rmtab — сведения о клиентах, смонтировавших ресурсы. Статистику работы сервера показывает nfsstat.

Проверка с клиента

sudo mkdir -p /mnt/share
sudo mount -t nfs nfs1:/citrix-vm1/virtualhost /mnt/share
df -h /mnt/share

iSCSI target

В терминах iSCSI сервер, отдающий диски, называется target, а клиент, который их подключает, — initiator. Каждый target идентифицируется именем IQN вида iqn.ГГГГ-ММ.обратный.домен:имя.

В Ubuntu есть два варианта реализации target: пользовательский демон tgt (утилиты tgtadm и tgt-admin) и встроенный в ядро LIO (утилита targetcli). Начнём с tgt.

sudo apt install tgt

На стороне клиента-инициатора ставится пакет open-iscsi.

Подготовка файла-диска

Создадим файл размером 50 ГБ, который станет логическим устройством (LUN):

sudo dd if=/dev/zero of=/citrix-vm1/iscsi/disk1.img bs=1M count=51200 status=progress

Если допустим разреженный файл, быстрее выполнить truncate -s 50G /citrix-vm1/iscsi/disk1.img, но для дисков ВМ надёжнее полностью выделенный файл или отдельный LVM-том.

Создание target и LUN командами tgtadm

# новый target с номером 1
sudo tgtadm --lld iscsi --op new --mode target --tid 1 \
  -T iqn.2016-06.com.biznes:storage.nfs1

# LUN 1 на основе файла
sudo tgtadm --lld iscsi --op new --mode logicalunit --tid 1 --lun 1 \
  -b /citrix-vm1/iscsi/disk1.img

# разрешаем доступ узлам гипервизора
sudo tgtadm --lld iscsi --op bind --mode target --tid 1 -I 5.5.5.1
sudo tgtadm --lld iscsi --op bind --mode target --tid 1 -I 5.5.5.4

# смотрим результат
sudo tgtadm --lld iscsi --op show --mode target

В выводе будут подключённые инициаторы (I_T nexus), список LUN с размером и путём к backing store и список разрешённых адресов (ACL). LUN 0 — служебный контроллер, его создаёт сам tgt.

Сохранение конфигурации

Всё, что сделано через tgtadm, живёт только до перезапуска службы. Выгружаем конфигурацию в файл:

sudo tgt-admin --dump | sudo tee /etc/tgt/conf.d/storage.conf
sudo tgt-admin --update ALL

Файл можно писать и вручную:

<target iqn.2016-06.com.biznes:storage.nfs1>
    backing-store /citrix-vm1/iscsi/disk1.img
    initiator-address 5.5.5.1
    initiator-address 5.5.5.4
</target>

Проверка

Обнаружение target с самого сервера или с клиента:

sudo iscsiadm --mode discovery --type sendtargets --portal 127.0.0.1
sudo iscsiadm --mode node --targetname iqn.2016-06.com.biznes:storage.nfs1 --portal 127.0.0.1 --login
lsblk

После входа в сессию у клиента появится новое блочное устройство.

Второй сервер

На nfs2 повторяются те же шаги с собственным IQN. Для копирования данных с основного сервера подойдёт rsync по расписанию, а для блочной синхронной репликации — DRBD. Помните, что копировать файл-диск работающей ВМ «на ходу» небезопасно: делайте снимок средствами гипервизора или LVM.

Актуальное положение дел

Пакет iscsitarget (IET) из старых версий Ubuntu больше не поставляется. Современная рекомендация — iSCSI target ядра LIO с утилитой targetcli (пакет targetcli-fb): у него есть интерактивная оболочка и сохранение конфигурации командой saveconfig. tgt при этом по-прежнему доступен в Ubuntu 22.04/24.04 и Debian 12.

Citrix XenServer сменил название на Citrix Hypervisor, а затем вернулся к имени XenServer; открытая альтернатива на той же основе — XCP-ng. Хранилища NFS и iSCSI подключаются в них так же. Многие небольшие инсталляции сегодня переходят на Proxmox VE, который тоже поддерживает оба протокола. Пример недорогого кластера описан в статье о бюджетной виртуализации на Citrix XenServer.

Частые вопросы

Что выбрать для дисков виртуальных машин — NFS или iSCSI?

NFS проще в настройке и позволяет хранить образы как обычные файлы, thin provisioning работает из коробки. iSCSI отдаёт блочное устройство, на котором гипервизор строит свой том; это ближе к классической SAN, но сложнее в обслуживании.

Где хранятся настройки tgt?

Командой tgtadm изменения вносятся только в работающую службу и пропадают после перезапуска. Постоянная конфигурация хранится в файлах /etc/tgt/conf.d/*.conf.

Можно ли отдавать по iSCSI файл, а не диск?

Да, backing store может быть файлом. Для производительности лучше использовать раздел, LVM-том или блочное устройство целиком, а файл создавать заранее полного размера.

Как ограничить доступ к NFS-экспорту?

В /etc/exports указывайте конкретные адреса или подсеть хранилища, а не звёздочку. Сеть хранения желательно выделить в отдельный VLAN без доступа пользователей.