Rambler's Top100
Статьи ИКС № 4 2019
Сергей ОРЛОВ  23 декабря 2019

Системы хранения данных: актуальные тренды

В последние несколько лет технологии хранения данных развиваются стремительно, растут емкость и производительность, расширяется функциональность СХД. Сегодня для бизнеса важно создать гибкую ИТ-инфраструктуру, готовую к будущим технологиям.

Рынок систем хранения следующего поколения, по данным Mordor Intelligence, достиг в 2018 г. отметки $21,55 млрд и вырастет к 2024 г. до $40,8 млрд. Среднегодовой рост составит 11,4%. 

Крупнейшим в мире вендором внешних СХД, согласно IDC, остается Dell EMC с долей 30%. Она опережает HPE (11,7%) и NetApp (10,8%), за которыми следуют IBM и Hitachi. Интересно, что другие аналитические агентства дают практически такие же оценки (рис. 1).

К драйверам роста аналитики относят ускоряющееся развитие в области облачных вычислений, больших данных, мобильных услуг и приложений для социальных сетей.

В России основными драйверами роста данного сегмента аналитики IDC традиционно считают госсектор, телеком и компании, реализующие программы цифровой трансформации. 

В последнее время произошли заметные изменения в том, как компании получают и хранят свои данные. Перечислим основные тенденции, которые в ближайшей перспективе будут оказывать влияние на рынок корпоративных СХД.


Рис. 1. Доли вендоров на мировом рынке внешних СХД в I квартале 2019 г. 

Мультиоблачные хранилища

Такие системы призваны обеспечить мобильность, переносимость данных между несколькими облачными платформами – частными и публичными. Мультиоблачность влияет не только на процессы перемещения, миграции данных, но и на процедуры и организацию доступа приложений к данным. 

Многие компании сегодня в сочетании со своей локальной инфраструктурой используют несколько публичных облачных сервисов. Некоторые СХД могут функционировать как компоненты облачной среды, их можно задействовать с публичным облаком и обмениваться с ним данными. Кроме того, отдельные СХД доступны по сервисной модели. 

Облачные хранилища приобретают все большую популярность, поскольку позволяют повысить рентабельность инвестиций за счет снижения затрат на инфраструктуру. Сервисы облачного хранения Cloud Storage расширяют центры обработки данных клиентов до облака, предоставляя хранилище (напрямую подключенное к ресурсам публичного облака) как сервис. 

Флеш-накопители

Технологии твердотельных накопителей (SSD) быстро совершенствуются, и в ближайшие годы на рынке появятся новые революционные продукты. Тем временем организации будут продолжать заменять традиционные диски твердотельными накопителями для повышения производительности, простоты управления и энергосбережения. В частности, на крупнейшем в мире североамериканском рынке аналитики ожидают в ближайшие годы двукратного роста спроса на SSD и трехкратного – на гибридные системы (рис. 2). Новые поколения флеш-массивов (Solid State Array, SSA) будут отличать более совершенные средства автоматизации хранения, интеграции с публичными облаками и защиты данных.

Рис. 2. Прогноз изменения объемов продаж СХД с накопителями разных типов на североамериканском рынке

Одна из тенденций – увеличение плотности флеш-памяти при снижении стоимости накопителей NAND. По прогнозу Forward Insights, в течение года SSD могут подешеветь в среднем на 30% и более. Либо производители станут продавать SSD большей емкости по той же цене. Однако оценки аналитиков варьируются. Trendfocus прогнозирует, что цена 1 Гбайт NAND упадет до 11,2 центов в 2020-м, до 8,8 в 2021-м и до 7 центов в 2022 г., сокращая разрыв с HDD. 

Переход на более плотную технологию 3D NAND также помогает снизить стоимость флеш-памяти. Производители перешли с 32-слойной на 64-слойную 3D-память в 2018 г. и постепенно будут переходить на 96-слойную. Это означает более высокую емкость хранения в том же формфакторе. 

Еще одной тенденцией станут чипы NAND с четырьмя уровнями ячеек (QLC), которые могут хранить четыре бита данных на ячейку памяти. Однако в ближайший год в большинстве корпоративных твердотельных накопителей SSD будет применяться трехуровневая флеш-память (TLC) 3D NAND. Доля QLC не превысит 5%.

Между тем, по прогнозам Gartner, к 2021 г. около 20% накопителей на флеш-памяти NAND будут использовать технологию QLC, а к 2025 г. их доля может достичь 60%. QLC 3D NAND предлагает более дешевую альтернативу флеш-памяти по сравнению с TLC и может бросить вызов жестким дискам, особенно в задачах с интенсивным чтением.

Следует отметить, что несмотря на серьезное снижение стоимости хранения 1 Гбайт на флеш-накопителях, HDD пока лидирует по емкости поставленных систем, и разрыв в течение последних пяти лет сохраняется (рис. 3).

Рис. 3. Изменение спроса на разные технологии хранения (по емкости поставленных систем) 

По мнению аналитиков, системы, построенные на флеш-памяти, дают ценные преимущества компаниям любого масштаба. Переход на массивы с флеш-памятью влечет за собой резкий прирост производительности приложений.

 На мировом рынке флеш-массивов лидируют Dell EMC, NetApp и Pure Storage (рис. 4). В России ситуация несколько иная. В первую тройку, по данным IDC, входят Huawei, Dell EMC и HPE – их общая доля приближается к 60%. Причем доля СХД на базе флеш-памяти уже превысила 37% в денежном выражении – заказчики, прежде всего финансовый и телекоммуникационный секторы, продолжают инвестировать в эти высокопроизводительные системы. 

Рис. 4. Изменение долей рынка флеш-массивов ведущих вендоров в 2015–2018 гг.

NVMe и NVMe-oF

Как считают аналитики, накопители SSD PCIe, которые используют NVMe (Non-Volatile Memory Express), спецификацию протоколов доступа к твердотельным накопителям, подключенным по шине PCI Express, – одна из основных тенденций развития технологий хранения данных.

Протокол NVMe разработан с учетом требований флеш-памяти, он оптимизирован для эффективной работы с SSD. СХД с накопителями NVMe демонстрируют свои лучшие качества при работе с приложениями, чувствительными к задержкам, например с базами данных. NVMe поддерживает до 65536 (64 K) очередей, каждая с глубиной до 65536 команд. Это увеличивает параллелизм при обработке (и как следствие – производительность) и позволяет задействовать преимущества многоядерных процессоров благодаря прямому доступу каждого ядра к SSD. А спецификация NVMe over Fabrics открывает путь к созданию распределенных СХД с низколатентной фабрикой.

Флеш-массивы с фабрикой NVMe получают распространение быстрее, чем прогнозировали эксперты, но их широкое внедрение в дата-центрах ожидается лишь через несколько лет.

По прогнозу Gartner, к 2021 г. флеш-массивы, использующие NVMe-oF для подключения к серверам и SAN, будут приносить около 30% дохода от поставки СХД. В IDC же считают, что к 2021 г. флеш-массивы с подключениями по NVMe и NVMe-oF обеспечат примерно половину всех доходов от поставок внешних систем хранения.

По мнению аналитиков, NVMe-oF имеет многообещающий потенциал, поскольку обеспечивает чрезвычайно высокую пропускную способность при сверхнизкой задержке. Кроме того, возможность совместного использования систем на флеш-памяти несколькими серверными стойками представляет интерес для организаций с кластерами Oracle Real Application Clusters или другими крупными базами данных.

NVMe-oF расширяет возможности коммутируемого прямого доступа к флеш-памяти, позволяет создавать общие хранилища с такой же стабильной низкой задержкой, как и флеш-память PCIe на обычном сервере.

Кроме того, разрабатываются сетевые транспортные протоколы NVMe для FC-NVMe и различных протоколов удаленного прямого доступа к памяти, включая InfiniBand, RDMA over Converged Ethernet и протокол Internet RDMA.

В настоящее время основные поставщики продуктов NVMe-oF – это Dell EMC, HPE и NetApp. 

Использование в СХД памяти SCM

Современная архитектура СХД – это не только поддержка стандарта NVMe. Новая тенденция – использование накопителей класса Storage Class Memory (SCM). Некоторые вендоры уже устанавливают в контроллерах своих СХД подключенные по NVMe модули памяти Intel Optane в качестве кэш-памяти на чтение. В роли кэша на запись выступает оперативная память DRAM или NVRAM.

Благодаря накопителям SCM задержки сокращаются на 40–50%. Применение накопителей Optane в качестве своего рода дополнения к ОЗУ, причем энергонезависимого, – интересное новшество. Как показывает практика, ресурсы ЦП обычно используются на 30%, тогда как оперативная память задействуется полностью. В этих условиях установка модулей Optane – способ повышения производительности. Энергонезависимая память Intel Optane DC с производительностью, близкой к скорости работы оперативной памяти, позволяет ускорить обработку больших наборов данных, например, в задачах искусственного интеллекта. 


Новые массивы хранения HPE Nimble c поддержкой NVMe и SCM предназначены для приложений аналитики, требующих мгновенных результатов.

Производители считают такой подход даже более выигрышным, чем применение для этой цели NVMe-накопителей, поскольку SCM-кэш дает кратный прирост производительности при относительно низких затратах. 

Автоматизация хранения: искусственный интеллект и машинное обучение

Внедрение флеш-памяти повлияло не только на производительность СХД, но и на процессы администрирования. Выросли потребности в эффективности защиты данных от развивающихся угроз, атак, сбоев системы и человеческих ошибок. В результате организации начинают инвестировать в комплексные подходы и инструменты защиты данных, средства автоматизации операций.

Автоматизация ИТ-инфраструктуры имеет целью повышение эффективности, снижение затрат на администрирование и исключение ошибок. Автоматизация хранения данных, в том числе на основе искусственного интеллекта, станет типовым подходом. 

Аналитика с применением ИИ и машинного обучения позволяет прогнозировать использование емкости хранилища, помечать неактивные или редко используемые данные для их перемещения на нижние уровни хранения, выявлять потенциальные риски несоблюдения нормативных требований, например, к хранению персональных данных. Как ожидается, сегмент продуктов на основе искусственного интеллекта и машинного обучения, предназначенных для управления большими объемами данных и их анализа, будет быстро расти. По мере увеличения сложности данных и ИТ они станут распространяться все шире.

Например, компания Igneous Systems анонсировала продукты DataDiscover и DataFlow, которые индексируют и классифицируют неструктурированные данные и интеллектуально перемещают их. Поставщики массивов, включая Pure Storage, NetApp и Dell EMC, поддерживают видеокарты NVIDIA для ускорения аналитики с применением глубокого обучения.

Алгоритмы искусственного интеллекта и машинного обучения могут использоваться для автоматизации развертывания СХД. Эти технологии полезны для оптимизации хранилища, особенно когда речь идет о многоуровневом размещении данных. 

Например, в массиве Dell EMC PowerMax система задействует встроенные механизмы машинного обучения для автоматического размещения данных на основе профиля ввода-вывода на носителях соответствующего типа. Их цель – получить максимальную производительность при минимальных затратах.


В массиве Dell EMC PowerMax поддержка NVMe в сочетании с  памятью SCM позволяет получить систему хранения, которая обеспечивает до 15 млн IOPS, пропускную способность до 350 Гбайт/с и задержку при чтении менее 100 мкс.

Основная мотивация использования ИИ в корпоративной среде, по данным опроса Gartner, – это потребность в автоматизации повторяющихся задач (на что указывают 66% респондентов), улучшение клиентского опыта (63%), сокращение затрат (47%), упрощенное выполнение комплексных задач (40%), желание увеличить выручку (27%), конкурентное давление в отрасли (26%) и стремление сократить штат (13%). К основным препятствиям использования ИИ аналитики относят нехватку соответствующих навыков у персонала (56%) и непонимание преимуществ ИИ и принципов его использования (42%).

Что выбрать?

Вендоры продолжают совершенствовать линейки СХД и внедрять новейшие технологии для эффективной работы с таким ценным активом, как данные. Новые решения стали ответом на актуальные потребности ИТ-отрасли в работе с облачными технологиями, автоматизации и оптимизации задач управления и обработки данных.

Как же выбрать систему, оптимальную по соотношению функциональность/цена/качество? В зависимости от решаемой задачи СХД настраиваются, работают, да и позиционируются вендорами по-разному. Зачастую решение разрабатывается для конкретной цели. Например, СУБД характеризуется транзакционной, а система видеонаблюдения – потоковой нагрузкой. Поэтому общая тенденция – выбор специализированной системы в расчете на ту или иную задачу.

Нужно сформулировать основные требования к системе хранения, такие как надежность, функциональность, эксплуатационные характеристики, капитальные/эксплуатационные затраты. Если для нагруженных систем предпочтительнее будет задействовать флеш-массив, то для почтовых сервисов или систем резервного копирования вполне подойдет гибридное решение или СХД на традиционных дисках (HDD). 

Четкое понимание назначения системы поможет определиться с ее функциональностью. Нередко она избыточна: часть функций не задействована или используется не по назначению, увеличивая при этом конечную стоимость решения. 

Некоторые функции, такие как сжатие данных и дедупликация, могут влиять на производительность или пропускную способность. Поэтому следует исходить из минимально необходимой функциональности. Нужно понять, из чего складывается стоимость эксплуатации решения, как лицензируется расширение, во что выливается замена диска или контроллера, каков запас времени на устранение той или иной аварийной ситуации. Все это поможет выбрать нужную СХД и оптимизировать затраты. 

Сергей Орлов, независимый эксперт
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!