Все публикации

Как я обновил MikroTik в другом городе, сломал часть сети и вернул всё обратно, не выходя из дома

История о том, почему даже обычное обновление маршрутизатора может превратиться в маленькое приключение, зачем системному администратору несколько независимых каналов доступа и почему успешное обновление ещё не означает, что всё работает.

С чего всё началось

Есть у меня один MikroTik RB1100AHx4 - обычная, в общем-то, железка. Не самая новая, но достаточно производительная, надёжная и вполне способная обслуживать инфраструктуру небольшой организации. Хотя слово «небольшой» здесь весьма условное.

Через него проходят два интернет-провайдера, работают VLAN, DHCP, NAT, межсетевой экран, L2TP/IPsec, OpenVPN, маршруты до удалённых сетей и ещё куча всего. За ним живут серверы, виртуалки, коммутаторы, системы видеонаблюдения, тонкие клиенты и прочее оборудование, которое обычно никто не замечает, пока оно работает.

Маршрутизатор находится в другом городе за 1500 км и это важная деталь.

До начала всей истории на нём была установлена RouterOS 6.49.20. Система работала стабильно, особых претензий не было, но шестая ветка уже откровенно возрастная и рано или поздно всё равно пришлось бы думать о переходе на актуальную версию, поэтому решил заняться обновлением.

Сначала без особого риска перешёл с 6.49.20 на 6.49.23 - последнюю доступную на тот момент версию long-term шестой ветки. Обновил RouterBOOT, проверил интернет, VPN, маршруты и основные сервисы. Всё отлично. Заодно почистил часть устаревшей конфигурации, убрал больше не нужные правила маршрутизации, отключил некоторые автоматические задания и сделал резервные копии.

А дальше возник вполне логичный вопрос - раз уж всё подготовлено, почему бы не перейти на RouterOS 7? И вот тут история становится интереснее.

Когда главный инструмент администратора - запасной вход

Обновлять маршрутизатор, который стоит рядом с тобой на столе, относительно просто. В худшем случае берёшь консольный кабель, сбрасываешь настройки, восстанавливаешь конфигурацию и продолжаешь жить. Но когда железка находится в другом городе, а попасть к ней физически ты не можешь, ситуация несколько иная. Потерять доступ к маршрутизатору, через который осуществляется этот самый доступ - удовольствие сомнительное.

К счастью, об этой проблеме я подумал заранее. У меня уже была построена система удалённого управления с двумя отдельными узлами, которые условно назовём Jump One и Jump Two. Оба подключаются к внешнему серверу-посреднику, где для транспорта используется WSTunnel, а поверх него работает WireGuard. В результате я получаю защищённый доступ к внутренней сети без необходимости публиковать административные сервисы в интернет.

Самое интересное тут - независимость каналов. Jump One использует основное сетевое подключение через второго провайдера и это удобный рабочий канал, но он всё-таки зависит от функционирования основной сетевой инфраструктуры, а вот Jump Two устроен интереснее - у него есть собственный LTE-модем, причём мобильное подключение используется как приоритетный маршрут к внешнему серверу. За доступностью канала следит автоматическая проверка и при отказе модема маршрут переключается на первого провайдера, а после восстановления мобильной связи возвращается обратно.

Получается такая схема:

Мой компьютер → внешний relay → WSTunnel → WireGuard → Jump Two → локальная сеть.

И самое главное, чтобы добраться до Jump Two снаружи, основному MikroTik вообще не обязательно работать. Теоретически. А теория, как известно, особенно хороша до первого реального эксперимента.

Перед обновлением я специально проверил этот канал. Перезагрузил маршрутизатор, дождался разрыва основных соединений и убедился, что резервный LTE-доступ продолжает работать - через него удалось снова попасть в локальную сеть и подключиться к MikroTik. То есть теперь я знал не просто то, что у меня есть резервный канал, а то, что он действительно переживает перезагрузку главного маршрутизатора, разница огромная. После этого обновляться стало существенно спокойнее.

RouterOS 7.23.8. Добро пожаловать в будущее

Следующим этапом стал переход на RouterOS 7.23.8 long-term. Обновление прошло штатно, маршрутизатор перезагрузился, поднял систему, принял подключения. Затем обновил RouterBOOT до той же версии.

Проверил основные вещи - интернет есть, VPN работает, удалённый доступ не потерян, процессор не перегружен, памяти хватает. Ошибок, которые сразу указывали бы на катастрофу, не видно. На первый взгляд - успех. Можно было бы поставить галочку и закрыть задачу, но вскоре начали приходить сообщения о проблемах.

Первыми отличились тонкие клиенты WTware - они перестали нормально загружаться по сети. Стали разбираться, оказалось, что после миграции в DHCP-конфигурации соответствующей VLAN исчез параметр next-server, указывающий на сервер сетевой загрузки, при этом boot-file-name сохранился. Получалась довольно забавная ситуация - маршрутизатор сообщал клиентам, какой загрузочный файл нужен, но не сообщал, откуда его забирать. Вернул next-server вручную - сетевую загрузку восстановили. Как оказалось, это были только цветочки.

А потом сеть начала жить собственной жизнью

Следом посыпались события из Zabbix - то один коммутатор перестал отвечать, то несколько видеорегистраторов оказались недоступны, то ещё какие-то системы начали выпадать из мониторинга. Причём произошло всё практически одновременно - после перехода на семёрку. Самая очевидная версия - где-то упал физический линк, перестал работать коммутатор или возникла проблема с кабелем. Начал проверять.

Линки подняты. Скорости согласованы нормально. Ошибок, которые объясняли бы происходящее, нет. MikroTik видит MAC-адреса за портами, bridge находится в рабочем состоянии, но некоторые устройства не пингуются. И вот здесь началась настоящая головоломка.

Сервер мониторинга не может достучаться до видеорегистратора, сам MikroTik тоже не может. При этом обычный рабочий компьютер в той же большой локальной сети совершенно спокойно обращается к этому регистратору. Более того, этот компьютер видит и проблемный коммутатор, и регистраторы и сервер мониторинга. То есть устройства живые и сеть физически существует, но доступность оборудования почему-то зависит от того, с какого именно участка сети к нему обращаться.

Причём речь не о разных VLAN с очевидной проблемой маршрутизации, проблемные устройства находятся в одной логической подсети /21, а соответствующие физические интерфейсы включены в общий bridge. На сервере мониторинга до некоторых адресов даже не разрешается ARP - записи остаются в состоянии INCOMPLETE. Красота.

Три switch-чипа и немного чёрной магии

У RB1100AHx4 есть интересная архитектурная особенность - Ethernet-порты распределены между тремя аппаратными switch-чипами.

Условно:

  • ether1–ether5 - первый чип;
  • ether6–ether10 - второй;
  • ether11–ether13 - третий.

И чем дальше мы разбирались, тем больше проблема напоминала выборочную потерю связности между этими группами портов.

Например, компьютер за ether11 мог обращаться к оборудованию, доступ к которому отсутствовал с сервера за ether7, причём сам компьютер был доступен с этого сервера. То есть не было какой-то простой картины, как будто всё за ether5 умерло. Нет, всё работало выборочно.

Проверяли настройки bridge, аппаратное ускорение, физические подключения, переключали кабели между портами, отключали HW-offload для отдельных интерфейсов. Особого результата это не принесло. При этом до обновления всё оборудование работало нормально, а каких-то осознанных изменений топологии сети мы не делали.

В какой-то момент стало понятно, что дальше можно ещё долго развлекаться с диагностикой, но это уже производственная сеть, а не домашняя лаборатория. Продолжать эксперименты за счёт работающих пользователей - сомнительное удовольствие. Тем более что появилась вполне обоснованная гипотеза - проблема связана с RouterOS 7.23.8 и обработкой трафика на данной модели.

Оставался самый показательный эксперимент - вернуть RouterOS 6 и посмотреть, оживёт ли сеть.

Назад в шестёрку. Но не так быстро

К этому моменту резервный удалённый доступ уже полностью себя оправдал. Благодаря Jump Two я мог перезагружать MikroTik, терять основную связь, снова заходить на устройство и продолжать работу. В другой город ехать не пришлось.

Для отката заранее были сохранены резервные копии конфигурации шестёрки, включая бинарный backup и текстовые экспорты.

Скачал официальный пакет routeros-arm-6.49.23.npk, загрузил на устройство и выполнил:

/system package downgrade

MikroTik перезагрузился.

Захожу, а там снова RouterOS 7.23.8. Вот тебе и downgrade.

Посмотрел журнал:

missing package wireless

Выяснилось, что в семёрке отдельно установлен пакет wireless, хотя в самом RB1100AHx4 беспроводных интерфейсов вообще нет, при откате установщик всё равно ожидает согласованное состояние пакетов.

Хорошо. Скачал полный архив дополнительных пакетов шестой версии, нашёл там wireless-6.49.23-arm.npk, загрузил вместе с основным пакетом и повторил откат. Очередная перезагрузка и снова семёрка.

На этот раз журнал оказался особенно прекрасен:

omitting package wireless@-6.49.23: it is already installed

А сразу следом:

missing package wireless

То есть установщик сначала решил, что нужный пакет уже установлен, пропустил его, а потом пожаловался, что этого самого пакета не хватает. Логика железобетонная.

После разбора ситуации решение оказалось неожиданно простым - сначала нужно удалить отдельный пакет wireless из RouterOS 7.

Удалил, перезагрузил устройство, убедился, что в системе остался только основной пакет routeros 7.23.8.

После этого загрузил один-единственный файл шестёрки:

routeros-arm-6.49.23.npk

И снова запустил downgrade.

Да, к этому моменту MikroTik уже успел перезагрузиться столько раз, что можно было бы начинать считать это стресс-тестированием удалённого управления, но на этот раз всё получилось.

И тут произошло самое приятное

После очередной перезагрузки я увидел долгожданную надпись:

MikroTik RouterOS 6.49.23

Сразу проверил доступность оборудования - коммутаторы отвечают, видеорегистраторы снова доступны, проблемные серверы видят друг друга. Связность восстановилась, причём ничего дополнительно переключать или перенастраивать не потребовалось.

Впоследствии я выгрузил конфигурацию после отката и сравнил её с экспортом, сделанным перед обновлением на RouterOS 7, результат оказался весьма показательным - настройки bridge, портов, VLAN, DHCP, Firewall, NAT, маршрутизации и VPN практически полностью совпали. Сохранились даже ранее отключённые задания автоматизации.

Из небольших потерь обнаружился отдельный пакет NTP-сервера, который использовался в RouterOS 6 и не вернулся при downgrade. Его предстояло доустановить отдельно. А вот основная сетевая конфигурация вернулась на место и вся проблемная связность восстановилась вместе с шестёркой.

С научной точки зрения мы не доказали конкретную ошибку внутри RouterOS 7.23.8, для этого нужны дальнейшая локализация, диагностика коммутации и воспроизведение на стенде. Но практически получился весьма убедительный эксперимент - на шестёрке всё работает, на семёрке часть сети перестаёт работать, возвращаем шестёрку с почти той же конфигурацией - всё снова работает. По-моему, достаточно веская причина пока оставить этот маршрутизатор в покое.

Что в итоге

За два дня удалось пройти путь от RouterOS 6.49.20 до 6.49.23, затем до 7.23.8 с обновлением RouterBOOT, обнаружить серьёзные проблемы сетевой связности, разобраться с последствиями миграции и вернуться на рабочую шестёрку.

Всё это - удалённо, на производственном маршрутизаторе в другом городе и особенно приятно, что ни разу не понадобился физический доступ к устройству и это, пожалуй, главный результат всей истории. Не успешный downgrade, не найденная странность с wireless и даже не восстановившаяся сеть, а то, что заранее спроектированная независимая система удалённого доступа действительно сработала именно тогда, когда она была нужна. Можно сколько угодно рисовать красивые схемы резервирования, поднимать VPN-туннели, настраивать автоматическое переключение провайдеров и радоваться зелёным индикаторам, но настоящее резервирование начинается в тот момент, когда ты намеренно выключаешь основной канал - и продолжаешь спокойно работать.

Есть и второй вывод.

Версия с надписью long-term не гарантирует отсутствия проблем в конкретной инфраструктуре, особенно когда речь идёт о большом переходе между поколениями RouterOS, нестандартной сетевой топологии и оборудовании с несколькими аппаратными switch-чипами. Поэтому обновление - это не просто загрузить новый пакет и нажать Reboot, это ещё и понимание того, как ты будешь возвращаться обратно, если что-то пойдёт не так. В моём случае назад пришлось возвращаться буквально.

Сейчас маршрутизатор работает на RouterOS 6.49.23, загрузчик RouterBOOT остался версии 7.23.8 - пока всё стабильно, дополнительные эксперименты с ним отложены. Переход на RouterOS 7, если он вообще понадобится на этом устройстве, теперь исключительно через предварительное тестирование.

Мораль истории простая: когда обновляешь удалённую сетевую железку, самое важное - не знать, как нажать кнопку обновления. Самое важное - иметь возможность нажать кнопку отката и суметь до неё добраться.

P. S. Отдельное спасибо LTE-модему. За всю эту историю он оказался одним из самых полезных устройств в инфраструктуре и в отличие от главного маршрутизатора никаких приключений не устроил.