Выбор системы хранения данных для небольшой компании
Система хранения данных — аппаратно-программный комплекс, который надёжно хранит данные и быстро отдаёт их серверам и пользователям. Разбираем, зачем она нужна, чем отличаются DAS, NAS и SAN и как подобрать модель под файловое хранилище и виртуализацию.
Зачем отдельная СХД
Внутри СХД почти то же, что в обычном сервере: процессор, память, контроллеры и диски. Возникает законный вопрос: почему бы не поставить в сеть обычный компьютер с большими дисками и не раздать папки по SMB или FTP?
Ответ — в узком месте любой системы. Процессор и память развивались гораздо быстрее накопителей, и именно диск долго оставался самым медленным звеном. СХД решает это несколькими способами:
- Специализация. Устройство делает одно дело — ввод-вывод и хранение, и программная часть оптимизирована именно под это: кэширование в памяти, алгоритмы размещения часто меняющихся данных, работа с RAID.
- Резервирование узлов. Блоки питания, контроллеры и сетевые порты дублируются. Это дороже, но отказ одного компонента не останавливает работу.
- Централизация. Без общего хранилища домашние папки, почта и базы данных разбросаны по разным серверам. Их приходится отдельно копировать и дублировать, а резервное копирование занимает сеть. С СХД данные лежат в одном месте, их проще защищать и наращивать.
DAS, NAS и SAN
По способу подключения хранилища делят на три типа.
| Тип | Как подключается | Что отдаёт | Типичное применение |
|---|---|---|---|
| DAS | Напрямую к серверу (SAS, SATA) | Диски или RAID-массив | Локальное хранилище одного сервера |
| NAS | В обычную LAN по TCP/IP | Файлы по SMB/CIFS, NFS | Общие папки, домашние каталоги |
| SAN | Выделенная сеть хранения | Блочные устройства (LUN) | Хранилище для гипервизоров и СУБД |
DAS (Direct Attached Storage) ничем не отличается от подключения дисковой полки к серверу. Обычно используется SAS — последовательный преемник SCSI с тем же набором команд и большей пропускной способностью.
NAS (Network Attached Storage) подключается в общую сеть и сам управляет файловой системой. Клиенты видят готовые папки.
SAN (Storage Area Network) — сеть, которая объединяет хранилища и серверы. Работает по Fibre Channel (отдельная оптическая инфраструктура) или по iSCSI, который упаковывает SCSI-команды в IP и позволяет строить сеть хранения на обычном Ethernet. Главное отличие от NAS: данные читаются и пишутся блоками, хранилище ничего не знает о файловой системе.
Несколько практических моментов для iSCSI:
- под трафик хранения выделяйте отдельный VLAN или физическую сеть и, если позволяет бюджет, по два пути до каждого устройства (MPIO);
- цели и инициаторы iSCSI адресуются по именам IQN, а виртуальные разделы на массиве — по номеру LUN (WWN — это адресация Fibre Channel);
- отдельный аппаратный адаптер не обязателен: программный инициатор есть в Windows, Linux и всех популярных гипервизорах.
Как поднять iSCSI-цель и NFS на обычном Linux-сервере, мы разбирали в статье о настройке NFS и iSCSI target на Ubuntu.
Формулируем требования
Пример проекта — небольшая компания, которая переводит серверы на виртуализацию:
- 1 ТБ под файлы пользователей;
- 1 ТБ под системы виртуальных серверов и базы данных;
- 300–500 ГБ под резервные серверы;
- раздача общих папок по SMB и NFS без участия серверов;
- iSCSI, если гипервизоры будут хранить на СХД свои диски.
Итого минимум 3 ТБ. С учётом роста систем и программ объём стоит удвоить до 6 ТБ, а с запасом на будущее и потерями на RAID получается порядка 12 ТБ полезного места. При дисках по 4 ТБ это шесть и более отсеков.
Кроме объёма важна производительность ввода-вывода (IOPS). Прикинуть её можно, измерив нагрузку на действующем оборудовании, например утилитой IOMeter или fio. Виртуальным машинам и базам данных важны случайные операции мелкими блоками, а не линейная скорость, которую пишут на коробке.
Ещё одно уточнение: отказоустойчивый кластер Windows Server не требует именно Fibre Channel. Общее хранилище для него можно подключать по iSCSI или SAS, если оборудование прошло проверку совместимости.
На что смотреть при выборе модели
В 2013 году под такие требования рассматривали стоечные NAS с поддержкой iSCSI от Asustor, Netgear (ReadyNAS), QNAP, Synology и Thecus. Сравнивать стоит не бренды, а параметры:
- Число отсеков и поддержка дисков нужного объёма. Проверяйте список совместимых дисков у производителя.
- Резервный блок питания и, желательно, ECC-память.
- Сеть. Минимум два гигабитных порта с агрегацией (802.3ad) и VLAN; лучше — возможность поставить адаптер 10 Гбит/с.
- Протоколы. SMB, NFS, iSCSI с MPIO, интеграция с Active Directory для прав на папки.
- Обслуживание дисков. SMART по расписанию, проверка массива (scrubbing), уведомления по почте и SNMP.
- Снимки и репликация. Снимки по расписанию спасают от случайного удаления и шифровальщиков, репликация на второй NAS — от потери устройства.
- Поддержка гипервизоров. Сертификация под VMware, Hyper-V, Citrix или Proxmox снимает много вопросов.
- Надёжность прошивки. Резервная копия микропрограммы и регулярные обновления безопасности.
Из пяти финалистов того времени в бюджет около 100 тыс. рублей укладывались только две модели. Выбор пал на ту, что поддерживала и SATA, и SAS, имела более мощный процессор, слот под 10-гигабитный адаптер и резервную копию прошивки.
Что изменилось с тех пор
- SSD стали нормой. Ненадёжность твердотельных накопителей больше не аргумент: SSD и NVMe используют под системы и базы, а HDD — под объёмные данные. Многие NAS умеют SSD-кэш или гибридные пулы.
- Сеть стала быстрее. 10 Гбит/с доступны даже в небольших офисах, для серверов распространены 25 Гбит/с.
- Программные хранилища. Вместо готового NAS можно собрать хранилище на сервере с ZFS (TrueNAS) или распределённое хранилище Ceph, которое, например, встроено в Proxmox VE.
- RAID 5 на больших дисках не рекомендуют. При дисках по 10–20 ТБ восстановление массива длится сутками, и риск второго отказа велик. Используйте RAID 6 или RAID 10.
- Защита от шифровальщиков стала важнее скорости: неизменяемые снимки и резервные копии вне основной СХД обязательны.
Если хранилище собираете на сервере с аппаратным RAID-контроллером, пригодится разбор проблемы, когда контроллер LSI не собирает массив автоматически.
Частые вопросы
Чем NAS отличается от SAN?
NAS отдаёт файлы по сети через SMB или NFS и сам управляет файловой системой. SAN отдаёт серверу блочные устройства (LUN) по iSCSI или Fibre Channel, а файловую систему на них создаёт уже сервер.
Можно ли использовать NAS как хранилище для гипервизора?
Да, если NAS умеет iSCSI или NFS и есть в списке совместимости вашего гипервизора. Для продуктивной нагрузки выделяйте под трафик хранения отдельную сеть или VLAN и проверяйте производительность на случайных операциях.
Какой уровень RAID выбрать для больших дисков?
Для дисков в несколько терабайт RAID 5 рискован: восстановление идёт долго, и второй сбой за это время губит массив. Для ёмкого хранилища выбирайте RAID 6, для нагрузки виртуальных машин — RAID 10 или SSD.
Заменяет ли RAID резервное копирование?
Нет. RAID защищает от отказа диска, но не от удаления файлов, шифровальщика или пожара. Копии нужно хранить на отдельном устройстве и вне основной площадки.