Shkerka.ruзаметки админа
Виртуализация и хранение

Выбор системы хранения данных для небольшой компании

Опубликовано: Обновлено: 5 мин чтенияАвтор: Редакция Shkerka.ru

Система хранения данных — аппаратно-программный комплекс, который надёжно хранит данные и быстро отдаёт их серверам и пользователям. Разбираем, зачем она нужна, чем отличаются DAS, NAS и SAN и как подобрать модель под файловое хранилище и виртуализацию.

Зачем отдельная СХД

Внутри СХД почти то же, что в обычном сервере: процессор, память, контроллеры и диски. Возникает законный вопрос: почему бы не поставить в сеть обычный компьютер с большими дисками и не раздать папки по SMB или FTP?

Ответ — в узком месте любой системы. Процессор и память развивались гораздо быстрее накопителей, и именно диск долго оставался самым медленным звеном. СХД решает это несколькими способами:

  • Специализация. Устройство делает одно дело — ввод-вывод и хранение, и программная часть оптимизирована именно под это: кэширование в памяти, алгоритмы размещения часто меняющихся данных, работа с RAID.
  • Резервирование узлов. Блоки питания, контроллеры и сетевые порты дублируются. Это дороже, но отказ одного компонента не останавливает работу.
  • Централизация. Без общего хранилища домашние папки, почта и базы данных разбросаны по разным серверам. Их приходится отдельно копировать и дублировать, а резервное копирование занимает сеть. С СХД данные лежат в одном месте, их проще защищать и наращивать.

DAS, NAS и SAN

По способу подключения хранилища делят на три типа.

Тип Как подключается Что отдаёт Типичное применение
DAS Напрямую к серверу (SAS, SATA) Диски или RAID-массив Локальное хранилище одного сервера
NAS В обычную LAN по TCP/IP Файлы по SMB/CIFS, NFS Общие папки, домашние каталоги
SAN Выделенная сеть хранения Блочные устройства (LUN) Хранилище для гипервизоров и СУБД

DAS (Direct Attached Storage) ничем не отличается от подключения дисковой полки к серверу. Обычно используется SAS — последовательный преемник SCSI с тем же набором команд и большей пропускной способностью.

NAS (Network Attached Storage) подключается в общую сеть и сам управляет файловой системой. Клиенты видят готовые папки.

SAN (Storage Area Network) — сеть, которая объединяет хранилища и серверы. Работает по Fibre Channel (отдельная оптическая инфраструктура) или по iSCSI, который упаковывает SCSI-команды в IP и позволяет строить сеть хранения на обычном Ethernet. Главное отличие от NAS: данные читаются и пишутся блоками, хранилище ничего не знает о файловой системе.

Несколько практических моментов для iSCSI:

  • под трафик хранения выделяйте отдельный VLAN или физическую сеть и, если позволяет бюджет, по два пути до каждого устройства (MPIO);
  • цели и инициаторы iSCSI адресуются по именам IQN, а виртуальные разделы на массиве — по номеру LUN (WWN — это адресация Fibre Channel);
  • отдельный аппаратный адаптер не обязателен: программный инициатор есть в Windows, Linux и всех популярных гипервизорах.

Как поднять iSCSI-цель и NFS на обычном Linux-сервере, мы разбирали в статье о настройке NFS и iSCSI target на Ubuntu.

Формулируем требования

Пример проекта — небольшая компания, которая переводит серверы на виртуализацию:

  • 1 ТБ под файлы пользователей;
  • 1 ТБ под системы виртуальных серверов и базы данных;
  • 300–500 ГБ под резервные серверы;
  • раздача общих папок по SMB и NFS без участия серверов;
  • iSCSI, если гипервизоры будут хранить на СХД свои диски.

Итого минимум 3 ТБ. С учётом роста систем и программ объём стоит удвоить до 6 ТБ, а с запасом на будущее и потерями на RAID получается порядка 12 ТБ полезного места. При дисках по 4 ТБ это шесть и более отсеков.

Кроме объёма важна производительность ввода-вывода (IOPS). Прикинуть её можно, измерив нагрузку на действующем оборудовании, например утилитой IOMeter или fio. Виртуальным машинам и базам данных важны случайные операции мелкими блоками, а не линейная скорость, которую пишут на коробке.

Ещё одно уточнение: отказоустойчивый кластер Windows Server не требует именно Fibre Channel. Общее хранилище для него можно подключать по iSCSI или SAS, если оборудование прошло проверку совместимости.

На что смотреть при выборе модели

В 2013 году под такие требования рассматривали стоечные NAS с поддержкой iSCSI от Asustor, Netgear (ReadyNAS), QNAP, Synology и Thecus. Сравнивать стоит не бренды, а параметры:

  1. Число отсеков и поддержка дисков нужного объёма. Проверяйте список совместимых дисков у производителя.
  2. Резервный блок питания и, желательно, ECC-память.
  3. Сеть. Минимум два гигабитных порта с агрегацией (802.3ad) и VLAN; лучше — возможность поставить адаптер 10 Гбит/с.
  4. Протоколы. SMB, NFS, iSCSI с MPIO, интеграция с Active Directory для прав на папки.
  5. Обслуживание дисков. SMART по расписанию, проверка массива (scrubbing), уведомления по почте и SNMP.
  6. Снимки и репликация. Снимки по расписанию спасают от случайного удаления и шифровальщиков, репликация на второй NAS — от потери устройства.
  7. Поддержка гипервизоров. Сертификация под VMware, Hyper-V, Citrix или Proxmox снимает много вопросов.
  8. Надёжность прошивки. Резервная копия микропрограммы и регулярные обновления безопасности.

Из пяти финалистов того времени в бюджет около 100 тыс. рублей укладывались только две модели. Выбор пал на ту, что поддерживала и SATA, и SAS, имела более мощный процессор, слот под 10-гигабитный адаптер и резервную копию прошивки.

Что изменилось с тех пор

  • SSD стали нормой. Ненадёжность твердотельных накопителей больше не аргумент: SSD и NVMe используют под системы и базы, а HDD — под объёмные данные. Многие NAS умеют SSD-кэш или гибридные пулы.
  • Сеть стала быстрее. 10 Гбит/с доступны даже в небольших офисах, для серверов распространены 25 Гбит/с.
  • Программные хранилища. Вместо готового NAS можно собрать хранилище на сервере с ZFS (TrueNAS) или распределённое хранилище Ceph, которое, например, встроено в Proxmox VE.
  • RAID 5 на больших дисках не рекомендуют. При дисках по 10–20 ТБ восстановление массива длится сутками, и риск второго отказа велик. Используйте RAID 6 или RAID 10.
  • Защита от шифровальщиков стала важнее скорости: неизменяемые снимки и резервные копии вне основной СХД обязательны.

Если хранилище собираете на сервере с аппаратным RAID-контроллером, пригодится разбор проблемы, когда контроллер LSI не собирает массив автоматически.

Частые вопросы

Чем NAS отличается от SAN?

NAS отдаёт файлы по сети через SMB или NFS и сам управляет файловой системой. SAN отдаёт серверу блочные устройства (LUN) по iSCSI или Fibre Channel, а файловую систему на них создаёт уже сервер.

Можно ли использовать NAS как хранилище для гипервизора?

Да, если NAS умеет iSCSI или NFS и есть в списке совместимости вашего гипервизора. Для продуктивной нагрузки выделяйте под трафик хранения отдельную сеть или VLAN и проверяйте производительность на случайных операциях.

Какой уровень RAID выбрать для больших дисков?

Для дисков в несколько терабайт RAID 5 рискован: восстановление идёт долго, и второй сбой за это время губит массив. Для ёмкого хранилища выбирайте RAID 6, для нагрузки виртуальных машин — RAID 10 или SSD.

Заменяет ли RAID резервное копирование?

Нет. RAID защищает от отказа диска, но не от удаления файлов, шифровальщика или пожара. Копии нужно хранить на отдельном устройстве и вне основной площадки.