Рынок решений на базе искусственных нейронных сетей находится сейчас в стадии активного роста — соответствующие системы работают уже в самых различных отраслях, и к 2025 году, по данным аналитиков, доход от решений искусственного интеллекта достигнет во всем мире 107,3 млрд долл. Все больше предприятий переходят от пилотных проектов к промышленным, внедряя новые технологии для обработки огромных объемов собираемых данных.

Один из способов автоматизации процессов сбора данных с различных периферийных устройств — объектная видеоаналитика, использующая нейронные сети и машинное зрение для получения и обработки в реальном времени значащих данных из видеопотоков. Объектная видеоаналитика приходит на смену традиционному видеонаблюдению, по большей части лишь создававшему видимость оперативной результативности — после 30 минут просмотра оператор обычно теряет способность замечать на картинке необходимые параметры и детали. В большинстве случаев традиционная видеоаналитика позволяет выполнять лишь постобработку, и говорить о реагировании в режиме реального времени не приходится.

В основе объектной видеоаналитики лежат алгоритмы подготовки входных данных, работы с нейронными сетями и машинным зрением. Одновременно с совершенствованием ПО появляются и новые аппаратные комплексы, способные удешевить инференс нейронных сетей за счет обработки видеоданных непосредственно в точке их сбора. Теперь можно на конечном аппаратно-программном устройстве запускать обученные нейронные сети для решения задач распознавания номеров и моделей автомобилей, идентификации лиц и голоса, анализа текстов и др. Для инференса используются специализированные программируемые логические матрицы (FPGA), графические процессоры (GPU) и процессоры общего назначения (CPU). Типичное решение на CPU — это сервер с материнской платой на один-два слота для процессоров, например Intel Xeon, выполняющих инференс на логических ядрах, число которых обычно равно количеству физических либо вдвое больше при наличии технологии Hyper-threading. Недостаток таких решений — высокая стоимость, поскольку многоядерные процессоры довольно дороги. Увеличить производительность можно за счет распараллеливания на несколько процессоров, однако если расположить и синхронизировать на одной материнской плате два процессора еще возможно, то сделать это для трех и более процессоров будет достаточно дорого, а объем сопутствующего навесного оборудования выйдет далеко за пределы форм-фактора 4U. Это, в свою очередь, вступает в противоречие с требованием компактности сервера для инференса, который может располагаться не только в специализированных ЦОД, но и в небольших локальных центрах.

Компания ComBox Technology предложила доступное решение для одновременного выполнения инференса на CPU и GPU. Инференс на GPU значительно эффективнее, чем на CPU, а совместное использование CPU и GPU благодаря передаче первому управляющих функций и задач преобразования данных позволяет увеличить производительность в три-пять раз. Стоимость инференса на единицу потока многократно сокращается за счет применения компьютеров с одной материнской платой (single board computer, SBC) с GPU. В центре данных, размещенном в непосредственной близости к устройствам получения данных, можно теперь «на лету» обрабатывать до 80 потоков видео качества FullHD на скорости 15 FSP (frames per second), минимально необходимой для обеспечения плавности движения. Передача данных изображения происходит по протоколу RTSP (Real Time Streaming Protocol). Максимальную скорость инференса, достаточную для обработки 15 фреймов в секунду и видеопотоков с 10 видеокамер, при оптимальной стоимости можно получить уже на недорогом стандартном компьютере Intel NUC8i5BEK с процессором Core i5 8259U.

Это решение нельзя назвать новым — выполнять инференс на SBC уже предлагали и крупные производители, и множество стартапов, но проблема в том, что стандартные SBC нельзя поставить в стойки с форм-фактором 1U, а также в серверные шкафы: компьютеры начинают перегреваться, и возникает механизм тротлинга (понижение частоты ядра при достижении устройством максимально допустимой для процессора температуры эксплуатации), что существенно замедляет инференс.

Как же установить с наибольшей плотностью множество SBC в серверный корпус форм-фактора 1U, чтобы получить промышленное решение для центра данных, обеспечив максимальную скорость инференса? Сервер 1U NxSBC Server for inference с доработанной системой охлаждения и усовершенствованной системой централизованного управления позволяет установить восемь SBC в корпус форм-фактора 1U, что в сумме означает 64 логических ядра и 8 GPU. Однако инференс в центрах данных хорошо работает только при наличии проводов: сигнал от источника данных (фото- и видеокамер) передается по надежному каналу без сбоев. В условиях все более широкого распространения беспроводных технологий 4G, не говоря уже о набирающей популярность 5G, такое решение невероятно дорого — стоимость передачи видеопотока за 100 или 1000 км «съедает» всю экономию, полученную на оптимизации компьютеров в центре данных. В транспортной инфраструктуре, например, источники данных значительно удалены от центра данных, что при проводном варианте делает объектную видеоаналитику нерентабельной.

Одно из решений — применение технологии Edge AI обработки видеопотока и выполнение инференса в непосредственной близости от источника данных, например прямо в камере. Во-первых, при этом экономится трафик — нет необходимости передавать видеопоток FullHD. Во-вторых, отсутствие централизованной системы обработки позволяет сохранять работоспособность системы при отказе одной точки, исключая ситуацию, когда выход из строя сервера локального центра обработки парализует работу всей группы систем наблюдения.

С развитием IP-видеокамер объектная видеоаналитика стала возможна непосредственно в устройстве, однако при анализе обычно необходимо хранить видеопоток целиком либо обрабатывать его сразу в момент детектирования события по заданным параметрам. Если с детектированием оборудование видеокамеры еще сможет справиться, то функции видеоаналитики и хранения данных по событиям необходимо передавать другим устройствам. Мало того, для интернет-соединений нередки обрывы на неопределенный срок, а климатические условия работы периферийных устройств предъявляют весьма строгие требования к Edge-устройствам.

Решением стала серия устройств OutDoor Box (см. рисунок), представляющих собой промышленный одноплатный компьютер, способный в реальном времени выполнять инференс нейроннных сетей буквально «на краю» (непосредственно рядом с источником данных).

Система объектной видеоаналитики на базе OutDoor Box

Серия OutDoor Box включает четыре устройства, отличающихся по функциональным свойствам и производительности.

OutDoor Box Nano — промышленный микрокомпьютер на основе NanoPi M4, способный обрабатывать один видеопоток (15 фреймов в секунду) с одной камеры. Иначе говоря, такое устройство может контролировать движение транспортных средств, движущихся со скоростью до 60 км/ч по одной полосе.

OutDoor Box Micro — промышленный ПК на основе Up Core UP-CHT01 (CPU Intel Atom x5), позволяющий в реальном времени обрабатывать два транспортных потока при скорости движения до 250 км/ч. Применяется при детектировании нарушений ПДД, а также при решении задачи объектной видеоаналитики с двух-четырех камер, расположенных на одном объекте. Естественно, устройство находится в антивандальном корпусе со степенью пыле- и влагозащищенности IP66 и способно работать в диапазоне от –40 °C до +50 °C. Система работает по протоколу RTSP, и в случае обрыва беспроводного соединения продолжает функционировать, сохраняя события в памяти и позволяя запросить их после восстановления связи по REST API.

OutDoor Box — промышленный ПК на основе Intel Atom X7, позволяющий обрабатывать до шести видеопотоков. Устройство также помещено в антивандальный корпус и имеет степень пыле- и влагозащиты IP66.

OutDoor Box NUC — компьютер на основе SBC Intel NUC. Способен обрабатывать до 10 видеопотоков и применяется, например, для подсчета пассажиропотока с целью оптимизации маршрутов и вместимости объектов общественного транспорта. В OutDoor Box NUC установлен климатический модуль, поддерживающий оптимальную рабочую температуру системы.

Данные устройства могут применяться для выполнения инференса нейронных сетей любых топологий, в том числе и предназначенных для распознавания лиц. Устройства имеют интерфейсы интеграции с системами контроля и управления доступом, поэтому существует возможность автоматизировать, например, работу шлагбаумов по факту распознавания номера автомобиля или домофонов, распознающих лица жителей подъезда.

Инференс может выполняться и в облаке, что не требует затрат на оборудование. Современная IP-видеокамера способна нарезать видео на фреймы и отправлять их непосредственно в облако для обработки, аналитики, однако пока облачные решения далеки от совершенства, особенно при обеспечении безопасности данных, а любой сбой в канале может сорвать весь процесс объектной видеоаналитики.

***

При помощи таких простых и доступных устройств, как NUC Server и OutDoor Box, можно обеспечить выполнение инференса нейронных сетей для задач объектной видеоаналитики непосредственно в точке сбора данных, реализуя концепцию Edge AI, что позволяет исключить многие проблемы, вызванные перебоями в каналах связи с оконечными устройствами и деградацией их пропускной способности.

Илья Душин (dushin@combox.io) — исполнительный директор, Вячеслав Тихомиров (tikhomirov@combox.io) — эксперт, компания Combox Technology (Санкт-Петербург). Статья подготовлена на основе материалов, представленных для доклада на форуме «BigData – 2020».