Федеральное авиационное управление США (FAA) приостановило установку новых маршрутизаторов Juniper после масштабного сетевого сбоя 13 ноября, который привел к остановке авиасообщения более чем на четыре часа. По предварительным данным, причиной стала несовместимость нового сетевого оборудования с устаревшей инфраструктурой.
Сбои в закрытой ведомственной телекоммуникационной сети FAA начались около 15:30, когда поток запросов на соединения достигал примерно 1 тыс. попыток каждые 4–5 секунд. Проблема затронула 17 из 22 центров управления воздушным движением, а затем распространилась на несколько терминальных центров управления подходом. FAA пришлось ввести остановку полетов. Затем источники аномального трафика были локализованы на двух объектах, после блокировки которых работа возобновилась. Воздушное движение восстановили к 20:15 того же дня.
В FAA в настоящее время модернизируют свою сеть и переводят телекоммуникационную инфраструктуру с устаревших медных линий и технологии TDM на оптоволокно и IP-трафик. По данным подрядчика L3Harris, завершено более 70% запланированного перехода на оптоволокно.
По версии FAA, сбой не связан с самой программой модернизации сети, а нестабильность вызвана устаревшей технологией TDM, с 1960-х применявшейся в телефонных и ведомственных сетях. В сети FAA до сих пор частично используется старое оборудование. Установлены также совремеменные устройства, связывающую инфраструктуру с IP-сетями.
К таким устройствам относятся маршрутизаторы Juniper. В них функция многоадресной рассылки (multicast) по умолчанию отключена, а для ее активации требуется специальное конфигурирование. Предполагают, что она могла быть ошибочно активирована, хотя это пока не ясно. Вероятная последовательность событий выглядит так: новые маршрутизаторы сформировали интенсивный широковещательный либо многоадресный трафик, а устаревшие узлы не смогли его корректно обработать. Сбои распространились по магистральной сети FAA и затронули критически важные каналы связи и радарные данные.
Современные сетевые устройства обычно имеют встроенные механизмы защиты процессора от лавинообразного трафика. Если они не настроены, даже локальная ошибка конфигурации способна перерасти в общесетевой отказ. Теперь в качестве меры предосторожности multicast выключили во всех новых маршрутизаторах. По словам главы министерства транспорта США, новые маршрутизаторы не вышли из строя, а перегрузку могло вызвало давно выпущенное оборудование Cisco, поддержка которого прекращена.
Модернизации сети FAA предусматривает примение 3 648 устройств Juniper. К моменту инцидента установлено 400, из них 69 – в рабочем состоянии. В FAA приостановили дальнейшее размещение маршрутизаторов Juniper, но не уточнили, на какой срок.
На фоне разговоров о кибератаках инцидент в FAA иллюстрирует старую истину: большинство сетевых проблем возникает не из-за «сломанного» устройства, а из-за сочетания изменений конфигурации, неочевидных связей между компонентами и устаревших систем. По данным Uptime Institute, ошибки управления конфигурациями и изменениями становятся причиной 41% сетевых сбоев. Это главный фактор аварий, опережающий отказы оборудования и ПО.