Rambler's Top100
Статьи ИКС № 1 2020
Сергей ОРЛОВ  25 февраля 2020

СХД для систем видеонаблюдения

Системы видеонаблюдения сегодня востребованы во многих отраслях. С увеличением масштабов развертывания таких систем и плотности размещения камер растут и объемы генерируемых ими данных. 

Емкость и стоимость

Разрешение камер продолжает расти, и это позволяет увеличить изображение для более качественного и надежного распознавания лиц или номерных знаков, повышает точность систем видеоаналитики. Но вместе с разрешением растут и требования к емкости и производительности систем хранения, полосе пропускания сети. 

Согласно оценкам компании Seagate Technology, в 2023 г. объем данных, которые в течение одного дня будут генерироваться во всем мире установленными за последний год камерами видеонаблюдения, достигнет 3500 Пбайт.

Проблема усугубляется тем, что ввиду террористических атак многие страны обязывают хранить записи систем видеонаблюдения в течение все более длительного периода времени. В зависимости от отрасли и нормативных требований срок хранения видеоархива может варьироваться от месяцев до лет. Например, правила многих аэропортов требуют, чтобы зафиксированные на видео события хранились в течение семи и более лет. А типичный аэропорт продуцирует сотни гигабайт видео в день. 

Таким образом, хранение данных играет в системах видеонаблюдения жизненно важную роль. Инфраструктура хранения должна также обеспечивать поиск видео, чтобы пользователи могли быстро получать определенные фрагменты для просмотра. Нередко такие данные используются в системах видеоаналитики и должны быть доступны для анализа с помощью алгоритмов машинного обучения/ИИ.

В результате заметная доля бюджета всего проекта видеонаблюдения приходится именно на системы хранения. По некоторым оценкам, стоимость СХД может достигать 20% и более общей стоимости системы.

Согласно недавнему отчету MarketsandMarkets, мировой рынок видеонаблюдения вырастет с почти $37 млрд в 2018 г. до более чем $68 млрд в 2023 г. В основном этот рост обусловлен продолжающимся переходом от аналоговых систем видеонаблюдения к системам на основе IP. Снижение стоимости IP-камер способствует широкому применению этих систем во всем мире, подстегивая спрос на качественные и экономичные решения для хранения данных (рис. 1).

Рис. 1. Прогноз роста мирового рынка СХД для систем видеонаблюдения

Однако с учетом быстрого роста объема видеоданных задача создания систем видеонаблюдения, позволяющих оптимально удовлетворить потребности заказчика и одновременно сбалансировать затраты и удобство использования, становится все сложнее. Одно из самых больших препятствий – стоимость хранения видеоданных.

Требования к СХД

Требования к системе хранения данных определяются спецификой систем видеонаблюдения, а именно:
  • однородностью данных;
  • относительно постоянной и интенсивной нагрузкой;
  • превалированием режима записи. Чтение видео для просмотра или анализа осуществляется значительно реже;
  • необходимостью функционирования в реальном времени.
В общем случае СХД для системы видеонаблюдения должна обладать такими качествами, как эффективность работы с последовательными нагрузками, экономичность масштабирования при увеличении количества видеокамер и/или емкости архива, способность справляться с ростом нагрузки, незначительная (в пределах 10%) потеря производительности при отказе накопителей и отсутствие потерь данных при отказах. Принципиальное значение имеют запас пропускной способности СХД, стабильность доступа к данным и возможность достоверного восстановления событий. 

В крупных проектах необходимы высокая скорость работы с видеопотоками, поддержка большого числа камер с разрешением до Full HD/4К, гибкое масштабирование решения с ростом требований, параллельное чтение данных без потери производительности на запись (для работы приложений видеоаналитики), эффективное функционирование в многопоточном режиме и при пиковых нагрузках.

Повышенный уровень доступности и целостности данных СХД достигается за счет быстрой реконструкции RAID-массива, использования уровней RAID повышенной надежности, например RAID 7.3 или RAID N + M (RAID 7.3 – аналог RAID 6, но с более высокой надежностью благодаря расчету сразу трех контрольных сумм). Единая точка отказа системы хранения устраняется в двухконтроллерной конфигурации active-active. 

Для систем видеонаблюдения характерны многопоточные последовательные операции ввода/вывода, поскольку каждая IP-камера создает последовательный поток данных для записи в хранилище. В результате формируется многопоточная нагрузка на запись (более 90% операций) и незначительная нагрузка чтения – один или более потоков для просмотра видео из архива. 

Поэтому для задач видеонаблюдения обычно выбирают не самые производительные и относительно недорогие массивы большой емкости на HDD. Такие бюджетные решения могут представлять собой СХД вендоров второго эшелона, либо массивы на стандартном серверном оборудовании и программно определяемые СХД (Software Defined Storage, SDS). 

NAS и DAS

Одним из решений является хранение данных в сетевых хранилищах (Network Attach Storage, NAS). Это означает централизованное администрирование и хранение данных с совместным доступом или выделением томов (Logical Unit, LUN) для каждого сервера видеонаблюдения и подключение сервера к LUN через локальную сеть (например, по протоколу iSCSI). 

Создание системы видеонаблюдения на основе серверов NAS во многих случаях – оптимальный вариант, особенно в масштабных проектах. Сервер NAS выступает центральным элементом инфраструктуры видеонаблюдения, обеспечивающим хранение и обработку видеоданных с камер. Использование серверов NAS снимает проблему централизованного хранения и просмотра видео, так как они приспособлены для работы в распределенных сетях.

К основным преимуществам NAS для организации видеонаблюдения относят высокую масштабируемость, возможности создания крупных и территориально распределенных систем, интеграции с информационными системами предприятия, совместимость с IP-камерами разных вендоров, высокий уровень безопасности, широкие возможности резервного копирования и аварийного восстановления, выбора и разработки программного обеспечения для NAS, работающих под управлением обычных серверных ОС.

Сервер NAS может не только записывать видеоданные, но и обрабатывать их. С его помощью можно настроить и автоматизировать такие действия как детекция движения, сценарии с использованием данных с нескольких камер и датчиков, контроль наличия объектов в поле видимости камеры, проверка и корректировка параметров камеры (наклона, фокуса и пр.).

Проблема расширения хранилища видеоданных решается установкой дополнительных дисков (общей емкостью до сотен терабайт) или включением в систему еще одного сервера. Увеличение числа IP-камер и их подключение к серверу займут несколько минут. 

Пример подобного решения – совместный продукт компаний Cloudian и Milestone (рис. 2), который предлагается как основа построения систем видеонаблюдения, способных одновременно записывать видео с тысяч камер. В нем платформа хранения Cloudian интегрирована с ПО Xprotect от Milestone. Такая масштабируемая система может быть распределенной, при этом видео записывается в центральное хранилище. Cloudian HyperFile NFS настраивается как оперативная база данных с архивированием в HyperStore. Видео первоначально сохраняется в оперативной базе данных, а затем перемещается в архивную БД на основе расписания и/или политик, заданных в системе управления видеонаблюдением (Video Management System, VMS). По данным разработчиков, это решение отличается высокой плотностью хранения, оптимизируя затраты на хранение до 70% по сравнению с традиционными сетевыми хранилищами. 

Рис. 2. Системы хранения Cloudian HyperFile и HyperStore с ПО Milestone XProtect 

Другой вариант распределенной системы предлагает компания Qumulo (рис. 3). Видеозаписи с камер видеонаблюдения разного типа сохраняются в распределенной файловой системе Qumulo и размещаются на разных уровнях хранения: SSD для оперативной аналитики, на дисках большой емкости или опционально – в облаке.

Рис. 3. Поток данных в системе видеонаблюдения Qumulo

Dell EMC для хранения данных наблюдения, управления ими и доступа к ним в распределенных системах разработала ряд специализированных продуктов. СХД Unity, поддерживающая работу с терабайтами данных, может использоваться как центральная СХД с блочным доступом. Кластер Isilon NAS с ОС Isilon OneFS позволяет получить масштабируемый пул хранения данных с глобальным пространством имен.

Между тем некоторые специалисты считают применение массивов NAS избыточным и менее надежным, чем систем хранения данных с прямым подключением (Direct Attached Storage, DAS). DAS подразумевает прямой доступ сервера к СХД или размещение дисков внутри сервера и их объединение в RAID-массив с целью увеличения производительности и отказоустойчивости системы хранения. Прямое подключение к дисковому массиву считается самым надежным, поскольку обеспечивает постоянный гарантированный доступ ко всем записанным данным, сохранению которых не помешают потенциальные проблемы в сети. Да и стоимость хранения может получиться более низкой. Кроме того, исключается единая точка отказа.

Для масштабирования такой системы увеличивают число серверов с локальными СХД и/или наращивают емкость СХД-сервера добавлением полок с дисками JBOD. 

Другой вариант – комплексные «коробочные» решения. Примером может служить видеосервер Divitec (рис. 4), готовая система видеонаблюдения с ПО Divitec под ОС Linux. Он позволяет одновременно просматривать видео в реальном времени, записывать архив, просматривать видео из архива, осуществлять резервное копирование и удаленный доступ. Видеосервер поддерживает IP-камеры разных вендоров по протоколу Onvif 2.3, использует формат сжатия видео H.264. Максимальный поток -- до 300 Мбит/с.

Рис. 4. Видеосервер Divitec

SDS в системах видеонаблюдения

Программно определяемые СХД (SDS) эффективно работают на стандартном серверном оборудовании, достаточно легко встраиваются в существующую ИТ-инфраструктуру и снижают издержки за счет простого масштабирования. Как правило, они предоставляют широкие возможности конфигурирования и настройки под конкретные задачи, позволяют реализовывать масштабные и нестандартные проекты. Они могут предусматривать интерфейсы для подключения к сети SAN и/или NAS (Ethernet, InfiniBand, FC), прямое подключение к хостам (DAS) по протоколам SAS или iSCSI.

Такой вариант особенно подходит для небольших и некритичных проектов в условиях ограниченного бюджета. Для систем, где нужны гарантированная надежность, производительность, отказоустойчивость и сервис, предпочтительнее традиционные решения ведущих вендоров.

Программные СХД позволяют создавать производительные и отказоустойчивые хранилища на базе стандартных серверов. Для увеличения их емкости применяют внешние дисковые полки, подключаемые по SAS. Такая система может содержать до сотен дисков на одну СХД. Производительность определяется процессорами, емкостью ОЗУ, типом носителя (HDD/SSD) и пропускной способностью интерфейсов. 

Для критичных задач предпочтительнее использовать не просто отказоустойчивый RAID-массив, а двухконтроллерная конфигурация и дисковые полки с поддержкой «горячей» замены дисков. В случае SDS это два идентичных физических сервера, объединенных в отказоустойчивый кластер (active-active) с синхронизируемой кэш-памятью. При выходе из строя одного узла (контроллера) вся нагрузка переключается на второй. RAID-функции реализуются либо с помощью алгоритмов, задействующих для этих целей ресурсы ЦП, либо с помощью аппаратных RAID-контроллеров или ASIC-устройств. 

Среди SDS-решений можно упомянуть программно определяемую облачную платформу хранения ECS от Dell EMC, которая поддерживает хранение, видеоаналитику неструктурированных данных на обычном оборудовании (типовых серверах). В СХД с программным обеспечением от RAIDIX алгоритмы векторных вычислений призваны гарантировать высокий уровень производительности при последовательных нагрузках. Специфика программной архитектуры и адаптивная система кэширования позволяют СХД одновременно обрабатывать сотни «тяжелых» потоков данных.

Как показывает практика, на базе современных серверных платформ и программных СХД можно успешно строить экономичные хранилища данных для крупных систем видеонаблюдения (до нескольких тысяч камер) емкостью до нескольких петабайт. При этом они будут гарантировать достаточно высокую производительность и отказоустойчивость.

Облачное видеонаблюдение

Видеонаблюдение как сервис на базе облачной инфраструктуры (Video Surveilance as a Service, VSaaS) – одна из актуальных тенденций отрасли, тем более что многие СХД сегодня предлагают интеграцию с сервисами облачного хранения данных. VSaaS представляет интерес для широкой категории заказчиков – от частных пользователей и малого бизнеса до крупных организаций и государственных учреждений. Типичные потребители – розничные сети, строительные организации, небольшие офисы и домохозяйства.

В случае VSaaS видео с камер передается для хранения в ЦОД провайдера, т.е. по сути это один из вариантов хранения данных в облаке. VSaaS хорошо масштабируется и позволяет наращивать объемы хранимого видео, количество точек наблюдения и число пользователей без значительных капитальных затрат.

В рамках VSaaS чаще всего предоставляется лишь возможность записи и удаленного просмотра видео без какого-либо анализа, но по мере того, как системы видеонаблюдения год от года становятся технически все более совершенными и распространяются все шире, все большую популярность завоевывает облачная «видеоаналитика как сервис». Эксперты предсказывают дальнейший рост этого сегмента.

Сергей Орлов, независимый эксперт
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!