Настройка FreeBSD 10 для работы в XenServer 6
Шпаргалка по подготовке FreeBSD к работе виртуальной машиной в XenServer: гостевые утилиты, сборка ядра для фаервола и VPN, типовой rc.conf почтового сервера, работа через два шлюза и тонкая настройка сети.
Исходные условия
Задача — перенести на виртуализацию несколько серверов FreeBSD с почтой, DNS, VPN и Jabber. Раньше они работали на отдельных старых машинах, теперь — гостевыми ВМ на узле кластера XenServer с двумя шестиядерными Xeon и 32 ГБ памяти. Ниже — каркас настроек, общий для таких ВМ. Настройка самих сервисов (Postfix, Dovecot, BIND, mpd) — тема отдельных статей.
Порты и обновления
После установки обновляем систему и получаем дерево портов:
freebsd-update fetch
freebsd-update install
portsnap fetch extract
tzsetup
Для установки большинства программ быстрее использовать готовые пакеты:
pkg install mc bind-tools
Гостевые утилиты XenServer
Утилиты ставятся из пакета или порта sysutils/xe-guest-utilities:
pkg install xe-guest-utilities
# или из портов
cd /usr/ports/sysutils/xe-guest-utilities && make install clean
Включаем автозапуск и стартуем службу:
sysrc xenguest_enable="YES"
service xenguest start
После этого в XenCenter появятся IP-адреса ВМ и сведения об ОС.
Собственное ядро
Копируем стандартную конфигурацию и задаём своё имя ядра:
cd /usr/src/sys/amd64/conf
cp GENERIC MAILVPN
В файле MAILVPN меняем строку ident GENERIC на ident MAILVPN и добавляем опции фаервола и нескольких таблиц маршрутизации:
options IPFIREWALL
options IPFIREWALL_VERBOSE
options IPFIREWALL_VERBOSE_LIMIT=100
options IPDIVERT
options DUMMYNET
options ROUTETABLES=4
Для VPN-сервера на mpd нужна подсистема netgraph:
options NETGRAPH
options NETGRAPH_SOCKET
options NETGRAPH_IFACE
options NETGRAPH_KSOCKET
options NETGRAPH_PPP
options NETGRAPH_PPTPGRE
options NETGRAPH_L2TP
options NETGRAPH_MPPC_ENCRYPTION
options NETGRAPH_ETHER
options NETGRAPH_TEE
options NETGRAPH_BPF
options NETGRAPH_TCPMSS
options NETGRAPH_VJC
Сжатие MPPC в базовой системе того времени отсутствовало по лицензионным причинам, и для него ставили сторонний модуль ng_mppc с поддержкой компрессии. Без сжатия VPN прекрасно работает, поэтому этот шаг можно пропустить.
Сборка и установка ядра:
cd /usr/src
make buildkernel KERNCONF=MAILVPN
make installkernel KERNCONF=MAILVPN
shutdown -r now
Если исходников в /usr/src нет, их нужно установить заранее (компонент src при установке системы или клонирование репозитория исходников нужной ветки).
Пример rc.conf
Типовой /etc/rc.conf почтово-VPN-сервера с двумя интерфейсами и статическими маршрутами:
hostname="mail"
keymap="ru.koi8-r.kbd"
ifconfig_xn0="inet 192.168.50.4 netmask 255.255.255.240"
ifconfig_xn1="inet 192.168.1.5 netmask 255.255.255.240"
ifconfig_xn1_alias0="inet 192.168.1.4 netmask 255.255.255.255"
defaultrouter="192.168.1.1"
static_routes="dmz term office servers"
route_dmz="-net 192.168.50.0/28 192.168.50.1"
route_term="-net 192.168.40.0/28 192.168.50.1"
route_office="-net 192.168.0.0/24 192.168.1.1"
route_servers="-net 192.168.21.0/24 192.168.1.1"
firewall_enable="YES"
firewall_script="/etc/firewall.sh"
fsck_y_enable="YES"
dumpdev="NO"
sendmail_enable="NONE"
sshd_enable="YES"
ntpd_enable="YES"
xenguest_enable="YES"
mysql_enable="YES"
postfix_enable="YES"
dovecot_enable="YES"
clamav_clamd_enable="YES"
clamav_freshclam_enable="YES"
spamd_enable="YES"
amavisd_enable="YES"
fail2ban_enable="YES"
# для VPN-сервера дополнительно
named_enable="YES"
mpd_enable="YES"
Сетевые интерфейсы паравиртуализированных драйверов Xen называются xn0, xn1 и так далее. sendmail_enable="NONE" полностью отключает штатный sendmail, поскольку почту обслуживает Postfix. Имена переменных для служб из портов смотрите в их rc-скриптах в /usr/local/etc/rc.d/ — они меняются вместе с версиями пакетов.
Работа через два шлюза
Сервер подключён к двум сетям, и ответы должны уходить через тот же шлюз, откуда пришёл запрос. Для этого используются несколько таблиц маршрутизации (FIB). У каждой — свой шлюз по умолчанию:
/usr/sbin/setfib 0 route add default 192.168.1.1
/usr/sbin/setfib 1 route add default 192.168.50.1
В скрипте фаервола (/etc/firewall.sh) пакеты распределяются по таблицам в зависимости от адреса источника:
FwCMD="/sbin/ipfw -q"
$FwCMD add setfib 0 ip from 192.168.1.5 to any
$FwCMD add setfib 0 ip from 192.168.1.4 to any
$FwCMD add setfib 1 ip from 192.168.50.4 to any
# принудительная отправка через нужный шлюз
$FwCMD add fwd 192.168.1.1 ip from 192.168.1.5 to not 192.168.0.0/16
$FwCMD add fwd 192.168.50.1 ip from 192.168.50.4 to not 192.168.0.0/16
Число таблиц задаётся опцией ядра ROUTETABLES или параметром net.fibs="2" в /boot/loader.conf. Правила fwd требуют поддержки в ядре или загруженного модуля ipfw.
Сервер времени
/etc/ntp.conf для сервера, который синхронизируется с публичным пулом и раздаёт время локальной сети:
server 0.ru.pool.ntp.org iburst
server 1.ru.pool.ntp.org iburst
server 2.ru.pool.ntp.org iburst
server 3.ru.pool.ntp.org iburst
driftfile /var/db/ntpd.drift
logfile /var/log/ntpd.log
restrict default ignore
restrict -6 default ignore
restrict 127.0.0.1
restrict 192.168.0.0 mask 255.255.0.0 nomodify notrap nopeer
restrict source nomodify notrap noquery
Строка restrict source разрешает обмен с серверами, перечисленными в server, без указания каждого вручную.
Настройки sysctl
Фрагмент /etc/sysctl.conf для сервера-маршрутизатора:
kern.ipc.somaxconn=1024
net.inet.ip.forwarding=1
net.inet.ip.redirect=0
net.inet.ip.sourceroute=0
net.inet.ip.accept_sourceroute=0
net.inet.icmp.drop_redirect=1
net.inet.icmp.bmcastecho=0
net.inet.icmp.maskrepl=0
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
net.inet.tcp.always_keepalive=1
net.inet.ip.fw.one_pass=0
Параметры blackhole заставляют систему молча отбрасывать пакеты на закрытые порты, а не отвечать RST или ICMP. one_pass=0 нужен, чтобы пакеты после dummynet и netgraph продолжали проходить по правилам фаервола. Отключать net.inet.tcp.rfc1323, как иногда советуют старые инструкции, не стоит: это выключает масштабирование окна TCP и заметно снижает скорость на быстрых каналах.
Актуальное положение дел
FreeBSD 10 давно снята с поддержки; используйте актуальную ветку FreeBSD, список поддерживаемых выпусков есть на freebsd.org. В FreeBSD 14 утилита portsnap удалена — дерево портов получают через git clone https://git.FreeBSD.org/ports.git /usr/ports. Своё ядро для Xen и фаервола обычно не нужно: ipfw, divert, dummynet и модули netgraph загружаются автоматически или через kld_list в rc.conf.
XenServer 6 тоже устарел. Его наследники — Citrix Hypervisor и новый XenServer, открытая альтернатива — XCP-ng; FreeBSD работает в них гостем так же. Подробнее о самой платформе — в статье о бюджетной виртуализации на Citrix XenServer, а для глубокого погружения в администрирование системы подойдёт обзор книги «FreeBSD. Администрирование: искусство достижения равновесия».
Частые вопросы
Нужно ли собирать своё ядро FreeBSD для работы в Xen?
Нет. Начиная с FreeBSD 10 поддержка паравиртуализированных драйверов Xen входит в ядро GENERIC для amd64. Своё ядро собирали ради встроенных ipfw, divert и netgraph, но их можно загружать модулями.
Зачем нужны xe-guest-utilities?
Гостевые утилиты передают гипервизору сведения о ВМ: IP-адреса, версию ОС, использование памяти. Без них XenServer не покажет адреса в консоли и будет считать, что инструменты не установлены.
Как направить ответы через тот же шлюз, откуда пришёл запрос?
Используйте несколько таблиц маршрутизации (FIB): у каждой свой шлюз по умолчанию, а правила ipfw setfib или fwd отправляют пакеты с определённого адреса в нужную таблицу.
Актуален ли PPTP-сервер на mpd?
PPTP считается небезопасным и не рекомендуется. Для удалённого доступа сегодня используют WireGuard или OpenVPN; mpd5 остаётся удобным для PPPoE и L2TP.