Shkerka.ruзаметки админа
Виртуализация и хранение

LSI-контроллер не собирает RAID-массив автоматически

Опубликовано: Обновлено: 4 мин чтенияАвтор: Редакция Shkerka.ru

После замены неисправного диска контроллер LSI MegaRAID не всегда сам запускает восстановление массива: новый диск получает статус Unconfigured(bad) или несёт чужую конфигурацию. Разбираем, как вернуть диск в массив и запустить rebuild без перезагрузки сервера.

Симптомы

Диск в RAID 1 или RAID 10 отказал, его заменили на исправный, а массив так и остался в состоянии Degraded. Ребилд не стартовал, потому что:

  • на контроллере выключено автоматическое восстановление (Auto Rebuild);
  • новый диск помечен как Unconfigured(bad);
  • на диске осталась конфигурация от другого массива (foreign configuration), и контроллер не трогает его, чтобы не уничтожить чужие данные.

Всё это можно исправить из BIOS контроллера (Ctrl+R в утилите MegaRAID, Ctrl+H для WebBIOS, Ctrl+Y для предзагрузочной командной строки), но для этого придётся перезагрузить сервер. Удобнее работать из работающей системы утилитой командной строки.

Какой контроллер установлен

lspci -nn | grep -i raid
# 01:00.0 RAID bus controller [0104]: LSI Logic / Symbios Logic MegaRAID SAS 2008 [Falcon] [1000:0073]

Утилиты: MegaCli и StorCLI

Исторически для MegaRAID использовали MegaCli. Пакет распространялся в виде RPM, и на Debian/Ubuntu его либо конвертировали через alien, либо ставили из стороннего репозитория hwraid. Сейчас производитель (контроллеры LSI перешли к Avago, затем к Broadcom) поддерживает утилиту StorCLI, а MegaCli не развивается. Скачивайте StorCLI со страницы поддержки вашего контроллера на сайте Broadcom; для Dell PERC используйте PercCLI.

Если подключаете сторонний репозиторий на современной Debian или Ubuntu, не используйте устаревший apt-key: ключ кладётся в /etc/apt/keyrings/, а в описании репозитория указывается signed-by=.

Ниже команды даны в двух вариантах. В MegaCli -a0 — номер адаптера, [64:1] — пара «Enclosure Device ID : Slot Number». В StorCLI то же самое записывается как /c0/e64/s1.

Шаг 1. Проверить и включить автовосстановление

megacli -AdpAutoRbld -Dsply -a0
megacli -AdpAutoRbld -Enbl -a0
storcli64 /c0 show autorebuild
storcli64 /c0 set autorebuild=on

Если автовосстановление было выключено, после включения ребилд может стартовать сам. Если нет — переходите к ручным шагам.

Шаг 2. Найти заменённый диск

megacli -PDList -a0
storcli64 /c0/eall/sall show

В выводе MegaCli ищите заменённый диск по полям Enclosure Device ID и Slot Number и смотрите Firmware state. Типичная картина:

Enclosure Device ID: 64
Slot Number: 1
Device Id: 12
Media Error Count: 0
Firmware state: Unconfigured(bad)

Заодно проверьте счётчики Media Error Count и Predictive Failure Count у остальных дисков: если соседний диск тоже сыплет ошибками, ребилд может его добить, и сначала стоит сделать резервную копию.

Шаг 3. Перевести диск в Unconfigured(good)

megacli -PDMakeGood -PhysDrv[64:1] -a0
# Adapter: 0: EnclId-64 SlotId-1 state changed to Unconfigured-Good
storcli64 /c0/e64/s1 set good force

Шаг 4. Разобраться с foreign-конфигурацией

megacli -CfgForeign -Scan -a0
megacli -CfgForeign -Clear -a0
storcli64 /c0/fall show
storcli64 /c0/fall delete

Будьте внимательны: очистка удаляет все найденные чужие конфигурации. Если в сервер одновременно перенесли диски с данными из другой машины, их конфигурацию нужно импортировать (-CfgForeign -Import или /c0/fall import), а не стирать.

Шаг 5. Вернуть диск в массив

Посмотрите конфигурацию дисковых групп и найдите отсутствующий диск:

megacli -CfgDsply -a0

В выводе нужен номер массива и позиция (row), где не хватает диска. Например, в массиве 0 отсутствует диск в позиции 1:

megacli -PdReplaceMissing -PhysDrv[64:1] -Array0 -row1 -a0
# Adapter: 0: Missing PD at Array 0, Row 1 is replaced
storcli64 /c0/e64/s1 insert dg=0 array=0 row=1

Шаг 6. Запустить и отследить ребилд

megacli -PDRbld -Start -PhysDrv[64:1] -a0
megacli -PDRbld -ShowProg -PhysDrv[64:1] -a0
storcli64 /c0/e64/s1 start rebuild
storcli64 /c0/e64/s1 show rebuild

Восстановление большого диска занимает часы; нагрузка на массив в это время выше обычной. По окончании проверьте, что виртуальный диск снова в состоянии Optimal:

megacli -LDInfo -Lall -aALL
storcli64 /c0/vall show

Мониторинг, чтобы не пропустить следующий отказ

  • SMART дисков за контроллером: smartctl -a -d megaraid,12 /dev/sda, где 12 — Device Id диска.
  • Для регулярных проверок подойдут утилиты megaraid-status/megactl из того же набора или собственный скрипт по выводу StorCLI, отправляющий уведомление в систему мониторинга.
  • Держите на складе запасной диск той же модели и ёмкости и проверьте, включено ли автовосстановление, заранее, а не в день аварии.

Если сервер работает хостом виртуализации, загляните также в статью о бюджетном кластере на XenServer: при наличии пула машины можно увести на соседний узел на время ребилда.

Частые вопросы

Почему новый диск в LSI получил статус Unconfigured(bad)?

Так контроллер помечает диск, который он считает непригодным или который был извлечён во время ошибки. Если диск исправен, переведите его в Unconfigured(good) командой megacli -PDMakeGood или storcli set good.

Как включить автоматическое восстановление массива?

В MegaCli: megacli -AdpAutoRbld -Enbl -a0, в StorCLI: storcli64 /c0 set autorebuild=on. Текущее значение смотрится через -AdpAutoRbld -Dsply и storcli64 /c0 show autorebuild.

Чем заменить MegaCli?

Производитель заменил MegaCli на StorCLI. Для контроллеров Dell PERC есть вариант PercCLI с тем же синтаксисом. Команды отличаются, но логика работы та же.

Можно ли посмотреть SMART дисков за RAID-контроллером?

Да, smartctl умеет обращаться к дискам через MegaRAID: smartctl -a -d megaraid,N /dev/sda, где N — Device Id диска из вывода megacli -PDList или storcli.