• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Старая новая виртуализация в мире СХД

Стимулом к развитию виртуализации СХД в большой степени послужила серверная виртуализация, особенно учитывая проникновение виртуальных машин в сегмент критически важных приложений. Но принципы виртуализации для СХД отнюдь не новы, пусть даже успехи этой технологии в мире хранения данных не так велики, как в мире серверов.

Говорим «виртуализация», подразумеваем…

Применительно к системам хранения данных (СХД) виртуализацию можно понимать двояко – как «внешнюю» или «внутреннюю». Внутренняя, т. е. виртуализация на уровне одной системы хранения, присутствует в индустрии уже давно. Она лежит в основе организации многоуровневого хранения данных, функций Thin Provisioning и многих других, в том числе классической организации RAID. Вариант внешней виртуализации предполагает объединение гетерогенных систем хранения в общий пул ресурсов. В свое время на такой вариант виртуализации хранения возлагались большие надежды, однако пока на рынке СХД не удалось достичь результатов, сопоставимых с успехами в сфере серверной виртуализации. Причина тому – отсутствие единой доминирующей архитектуры для систем хранения, проприетарность аппаратных и программных платформ СХД. «Исторически каждый производитель решал задачи виртуализации самостоятельно, в соответствии со своим видением проблемы и сложившимися традициями в R&D, к тому же некоторые технологии были защищены патентами», – отмечает Владислав Логвиненко (группа по развитию бизнеса HP Storage в России). В такой ситуации сложно было появиться специализированному вендору, подобному VMware, который мог бы продвигать единое решение для всего рынка.

Производители систем хранения предложили рынку свои технологии, направленные на полную виртуализацию всей сети хранения данных, включая СХД разных производителей. Такие решения существуют в виде контроллеров системы хранения (Hitachi USP/USP V) или в виде специализированных программно-аппаратных устройств (appliance), включаемых в тракт передачи данных между серверами и сетью SAN. Примеры таких устройств-виртуализаторов – EMC Invista, NetApp V-Series, HP Sto-rageWorks SAN Virtualization Services Platform (SVSP), IBM SAN Volume Controller (SVC). Скажем, IBM SVC способен объединять в пул практически любые системы хранения с общим унифицированным интерфейсом управления, существенно упрощая администрирование СХД. Помимо консолидации ресурсов хранения такие решения призваны создать основу для построения распределенных инфраструктур хранения, а в последнее время – и облачных сред. «Данный подход является альтернативой технологиям удаленной репликации, а может быть, и их заменой в будущем», – убежден Дмитрий Агеев из IBM. Кроме того, внешняя виртуализация привносит новые возможности в старые системы, продлевая их жизнь в дата-центре.

Решения на базе внешних виртуализаторов – скорее прерогатива крупных компаний. Но есть и альтернативы для сегмента midrange. Например, год назад IBM выпустила дисковый массив StorwizeV7000, который основан на технологиях SVC и имеет встроенную функцию виртуализации. В отличие от виртуализатора, в StorwizeV7000 есть собственные диски для хранения данных, а по мере необходимости к массиву можно дополнительно подключать внешние системы.

Стоит также отметить, что существуют программные средства виртуализации СХД, которые устанавливаются на стандартные серверы. Например, ПО HP LeftHand P4000 Virtual SAN Appliance (VSA), развертываемое на серверах VMware ESX или Microsoft Hyper-V, превращает диски имеющихся серверов и систем хранения DAS и SAN в виртуальную кластерную систему хранения LeftHand. Доступны на рынке и такие программные продукты, как DataCore SANsymphony-V, FalconStor NSS, Virsto. Например, с помощью SANsymphony-V можно управлять любыми устройствами хранения, способными работать с Windows Server и подключаемыми по Fibre Channel, iSCSI или напрямую к серверу.

SAN, NAS или…

Наиболее широко технологии виртуализации распространены в области систем хранения с блочным доступом (SAN). Как уже упоминалось, стимулом к виртуализации СХД во многом послужила серверная виртуализация, а системы SAN лучше приспособлены для работы с гипервизорами. «Немаловажно отметить, что современные гипервизоры научились напрямую работать с такими СХД, перенося высоконагруженные операции, например миграцию виртуальных машин или их клонирование, напрямую на уровень СХД и освобождая ресурсы процессора и сети», – говорит Александр Грубин (департамент систем хранения данных НР Россия). К примеру, набор таких технологий под названием vStorage API имеется в VMware vSphere. Кроме того, по сравнению с системами с файловым доступом (NAS) системы SAN, как правило, обеспечивают лучшие быстродействие, надежность и доступность, масштабируемость и более эффективное использование дисковых ресурсов.

Но не все так однозначно. Хотя в некоторых приложениях, прежде всего при построении кластерных решений, без SAN не обойтись, сегодня уже нельзя утверждать, что решения на базе SAN являются единственно правильным выбором как для сред виртуализации, так и для других областей. «Производительность систем на основе блочного и файлового доступа практически идентична, – говорит Владимир Мешалкин (АМТ-ГРУП), – а поддержка со стороны гипервизоров всесторонне развита для обоих типов систем». Поэтому вариант использования NAS стоит рассматривать, уделяя особое внимание трем основным параметрам – полосе пропускания (bandwidth), операциям ввода-вывода (IOPS) и задержке (latency). Поскольку работа виртуальной среды непосредственно связана с файлами – виртуальными машинами, системы с файловым доступом в ряде случаев могут обеспечить наилучшие показатели.

В пользу NAS, по мнению Романа Ройфмана из компании NetApp, говорит и характерная для виртуальных сред тенденция к взрывному росту числа виртуальных машин. Это влечет за собой необходимость масштабирования виртуальной инфраструктуры и усложнение управления. И вот здесь у NAS появляются преимущества – легкость управления данными, простое масштабирование с блокировками на уровне файлов или отдельных виртуальных машин. Это значительно облегчает эксплуатацию больших ферм. А благодаря использованию современных каналов 10G системы NAS не только не уступают SAN в производительности, но и в ряде случаев превосходят их.

Валерий Рыбин (компания «Открытые технологии») и вовсе считает мифом мнение о лучшей приспособленности SAN к виртуализации. Да, доступ по файловому протоколу требует больше вычислительных ресурсов, чем по блочному. Однако времена медленных одноядерных процессоров ушли в прошлое, и сегодня скорость обработки файловых протоколов на ESX-серверах почти сравнялась с производительностью блочных протоколов. К этому можно добавить, что при использовании NAS нет необходимости разворачивать дополнительную оптоволоконную сеть хранения, поскольку NFS-протокол работает поверх IP.

Конечно, никто не отрицает, что NAS не всегда превосходит SAN, что для одних задач практичнее применять одну, для других – другую архитектуру. В свете этого стоит обратить внимание на унифицированные системы хранения (Unified Storage), одновременно предоставляющие и блочный, и файловый доступ. 

…Unified Storage?

Функционал блочного хранения и файлового хранения «в одной коробке» сегодня предлагают практически все производители. «Пока вряд ли можно сказать, что эта технология пользуется популярностью, но как тенденция она уже существует. С учетом активно растущих потребностей в файловом хранении в будущем такой подход должен прижиться и стать стандартом», – полагает Кирилл Янчевский из Hitachi Data Systems. Например, Oracle реализует концепцию Unified Storage во всех СХД: протоколы FC, iSCSI, CIFS, NFS поддерживаются как в SAN-системе Oracle Pillar Axiom 600, так и в NAS-системах Oracle ZFS Storage. При этом специалисты Oracle Hardware рекомендуют заказчикам, выбирая Unified Storage, обращать внимание на особенности реализации. В решении Oracle функции SAN и NAS в рамках единой СХД возложены на разные типы контроллеров. Благодаря этому массив эффективно обрабатывает любые виды нагрузок. А системы, изначально оптимизированные только под файловый доступ, вряд ли будут максимально эффективны для «тяжелых» приложений с доступом через SAN.

Старейшим «игроком высшей лиги» на рынке унифицированных систем хранения является компания NetApp. В настоящее время на нем присутствуют также IBM с системой StorwizeV7000, EMC с продуктами серии VNX и ряд других вендоров. В ближайшее время можно ожидать увеличения числа компаний, предлагающих подобные решения.

Как отмечает Александр Зейников (компания LSI в России и СНГ), наряду с объединением существующих протоколов в одной системе границы между SAN и NAS будут еще больше размываться при использовании более сложных механизмов доступа к данным, таких как NFS 4.1 (pNFS). Этот протокол новой версии помимо традиционного файлового предлагает возможности блочного доступа, а также нового для мира СХД объектного доступа.

Унификация, несомненно, поможет сократить вложения, упростить управление и лучшим образом утилизировать возможности аппаратного и программного обеспечения СХД. «Но в большинстве случаев универсальное решение будет хуже специализированных, уж очень велики различия между блочными и файловыми СХД: в режимах работы кэша, организации резервного копирования и защиты от катастроф, в способах выделения пространства, используемых протоколах», – констатирует Сергей Платонов (компания Avroraid). Да и что греха таить, под маркой «унифицированной системы» на рынке порой появляются решения, которые на поверку оказываются блочными системами с встроенным NAS Appliance.

По мнению Александра Яковлева из Fujitsu, унифицированные решения реально востребованы в довольно ограниченном сегменте. В большинстве случаев заказчик для своих приложений использует либо файловое, либо блочное подключение, и применение специализированного хранилища NAS или SAN будет более эффективным. На недостаточность в ряде случаев «унифицированного» подхода обращает внимание и Евгений Пухов (ЕМС Россия и СНГ). Речь идет о задачах, где встречаются «большие данные», вычислительные кластеры, высоконагруженные СУБД, критичные к времени отклика, или же распределенные интерактивные приложения Web 2.0. «Для всего этого у EMC есть отдельные подходы, – отмечает Е. Пухов. – Унифицированные системы хранения – это базовый фундамент любой организации, но многие задачи требуют специализированных инструментов для хранения. Принцип one size fits all не везде работает».

Унифицированные системы NAS/SAN предназначаются для SMB-рынка, подчеркивает В. Логвиненко. Однако при этом они обычно работают под управлением Linux/UNIX, и для них приоритетным является NFS-протокол. А большинство малых и средних организаций работают в Windows-среде. Интеграция таких систем в Windows-инфраструктуру требует от системных администраторов особых знаний. А для работы с CIFS-протоколом необходима эмуляция, что замедляет скорость файлового доступа. Поэтому HP придерживается комбинированного подхода – предлагает как «чистые» NAS-системы (HP X1000/X5000), так и NAS-шлюзы (X3000/X9000), которые используются с СХД, предоставляя одновременно и блочный, и файловый доступ. При этом почти все NAS-системы HP работают под управлением Windows Storage Server (WSS) и хорошо совместимы с CIFS-протоколом. А поскольку WSS одновременно предоставляет и блочный доступ по протоколу iSCSI, NAS-система может использоваться и для работы серверов приложений, подключаемых через Ethernet.

По пути предложения шлюзов, позволяющих добавить функционал NAS к уже развернутой группе массивов, идет и компания Dell, которая в прошлом году анонсировала шлюз NAS Dell EqualLogic FS7500 для дисковых массивов EqualLogic PS Series.

Интересен взгляд на перспективы конвергенции SAN и NAS со стороны производителя сетевого оборудования. По мнению Николая Умнова (филиал Brocade в России и СНГ), решения SAN и NAS еще долго будут существовать независимо. Поэтому Brocade предлагает отдельно инфраструктуру Fibre Channel для SAN и отдельно Ethernet, в том числе для NAS.  Конвергенцию же компания Brocade (разрабатывающая и конвергентные решения) понимает как перенос отработанных решений из мира FC в мир Ethernet – не с целью заменить технологию FC на FCoE, а чтобы упростить управление сетями Ethernet. В рамках этого направления компания предлагает перейти к Ethernet-фабрике, поддерживающей протоколы Ethernet, DCB (CEE), FCoE. Протокол FCoE предполагается использовать для подключения серверов в рамках одного шкафа, а для доступа к системам хранения рекомендуются более зрелые технологии FC, NAS и iSCSI – каждая из них имеет свою область применения, и они сильно не конкурируют.

RAID в новом качестве

Архитектура RAID – по сути не что иное как виртуализация жестких дисков для повышения отказоустойчивости и производительности массива. По выражению Е. Пухова, это «первый шаг в облако, сделанный еще на заре персональных компьютеров». Технология RAID имеет уже примерно 20-летнюю историю, но этот подход по-прежнему активно работает и развивается, хотя уже немного в другой плоскости. «Сейчас виртуализуют не столько диски, сколько целые системы хранения и даже ЦОДы целиком», – добавляет Е. Пухов, приводя в пример системы старшего класса EMC Symmetrix, в которых внутренняя виртуализация касается контроллеров и шины межконтроллерного взаимодействия. В качестве альтернативы EMC развивает направление параллельных систем хранения данных без единой точки отказа – при этом система хранения представляет собой вычислительный кластер и масштабируется горизонтально.

Классическая RAID-архитектура имеет ряд недостатков, и основной из них, пожалуй, – длительное время восстановления данных на диске массива (а с ростом емкости дисков это время еще более увеличивается). Потенциально его можно сократить путем увеличения RAID-группы, однако в этом случае узким местом становится диск четности.

Эту и другие проблемы, связанные с RAID, вендоры решают посредством проприетарных наработок. Например, Avroraid предлагает использовать RAID 6 (два диска четности на группу) в сочетании с фирменным алгоритмом Advanced Reconstruction, который повышает производительность массива и скорость реконструкции данных. Это происходит за счет автоматического исключения из процесса реконструкции до двух дисков, производительность которых находится ниже заданного предела; данные с таких дисков вычисляются с использованием контрольных сумм. Производитель утверждает, что решение позволяет сократить время реконструкции массива объемом 18 Тбайт до 3,5 ч.

Другой путь решения проблемы – технологии интеллектуального размещения блоков данных. Так, в IBM XIV данные, поступающие в систему, разбиваются на разделы (partitions) размером в 1 Мбайт. Разделы распределяются по всем дискам системы по механизму псевдослучайного распределения. Для каждого раздела создается зеркальная копия, которая помещается в другом модуле хранения (система может содержать до девяти модулей хранения данных по 12 дисков в каждом). В случае сбоя система определяет пострадавшие разделы и немедленно начинает создание новых копий. В процессе восстановления участвуют все диски, за счет чего этот процесс радикально сокращается – заявлена возможность восстановления жесткого диска емкостью 1 Тбайт менее чем за 30 мин.

Технологию распределения данных по множеству дисков используют и другие производители: Panasas, EMC, Hitachi, HP. Например, в СХД HP 3PAR и EVA нет традиционных RAID-групп, дисковое пространство разбито на сегменты фиксированной емкости, из которых, как из конструктора, собираются логические тома. В один логический том могут входить сегменты из десятков дисков, таким образом, операции ввода-вывода разнесены на большее количество шпинделей, что повышает производительность массива. Резервных (spare) дисков не требуется, свободное пространство, как и занятое, равномерно распределено по всем дискам массива.

Среди прочего, такой вариант виртуализации дискового пространства упрощает реализацию функции Thin Provisioning: данные каждого логического тома можно динамически перемещать по физическим дискам, в том числе SSD, чтобы получить максимальный уровень производительности. Федерализация хранения (онлайн-миграция логических томов с одной СХД на другую) также реализуется гораздо проще.

Компании NetApp и Oracle (Sun) идут по пути тесной интеграции RAID с файловой системой (решения WAFL/RAID-DP и ZFS/RAID-Z соответственно). Эти решения позволяют снять проблему неатомарности операций записи в классической RAID-архитектуре. Неатомарность означает, что операция записи не выполняется как одно целое, запись блока данных и блока контроля четности происходит независимо. Возникает временн'ое окно между двумя операциями (write hole), в течение которого возможно повреждение RAID-массива в случае сбоя. Указанные технологии позволяют исключить проблему неатомарности записи благодаря журналированию; кроме того, производительность случайного доступа можно заметно повысить за счет организации размещения блоков при записи.

Между тем, по мнению А. Яковлева, более реальной альтернативой является увеличение уровня надежности существующих уровней RAID за счет специальных аппаратных механизмов. Ряд таких механизмов, позволяющих сохранить высокий уровень надежности не в ущерб производительности системы, реализован, например, в дисковых системах ETERNUS DX S2 компании Fujitsu.

Ресурсы в кредит

Рациональное использование ресурсов хранения – задача не менее важная, чем обеспечение производительности и надежности СХД. Среди технологий, призванных решить эту задачу, – дедупликация (ряд производителей применяют ее не только для резервного копирования, но и для активных данных); сжатие данных перед размещением их на дисках массива; мгновенные снимки и копии, которые позволяют отказаться от создания полных копий данных; технология «тонкого» (или динамического) выделения ресурсов хранения – Thin Provisioning, позволяющая «выдавать в кредит» емкость для хостов.

Напомним, суть Thin Provisioning – в предоставлении хостам большего пространства, чем физически имеется на системе хранения. «Виртуально» логический том может иметь любой размер, но физическая емкость системы хранения используется лишь тогда, когда в том записываются данные. На сегодня Thin Provisioning реализована в подавляющем большинстве СХД. В некоторых системах хранения (например, Oracle) этот функционал входит в базовую поставку и не требует отдельного лицензирования. Однако технология связана со своими «накладными расходами» и несет определенные риски – как, впрочем, и любая другая технология виртуализации внутреннего пространства СХД. Основной риск, как предупреждают специалисты Huawei, это неконтролируемый рост объема данных (из-за вирусов или программных ошибок), который влияет в большинстве случаев на общий пул хранения данных, а не только на конкретный том. К тому же для большинства систем хранения использование «тонких» томов вносит дополнительные ограничения, например невозможность создания снэпшотов, расширения тома и т. п.

К. Янчевский обращает внимание на риск потери всех данных в случае единовременного выхода из строя нескольких носителей в одной RAID-группе: «При классическом подходе потеря двух дисков в зеркале или группе RAID 5 приводит к потере данных внутри этой группы, в случае же использования Thin Provisioning это будет потеря данных всех групп, так как все данные “размазаны” по разным группам». Поэтому для Thin Provisioning рекомендуется использовать массив RAID 6 как наиболее защищенный.

Существует риск перерасхода дискового пространства, например когда некое приложение или неожиданно стартовавшая операция начинают интенсивно записывать данные на «тонкий» диск, забирая все свободное пространство массива. Производители стремятся предлагать ПО, способное контролировать расход пространства. Такую функцию выполняет, например, плагин EMC VSI (Virtual Storage Integrator), предназначенный для интеграции виртуальной среды VMware с массивами EMC. Возможности подобного ПО, конечно, не безграничны, пополнять дисковую емкость все равно придется. Андрей Вересов (группа по развитию бизнеса 3PAR, НР в Центральной и Восточной Европе) настоятельно рекомендует своевременно реагировать на оповещения о том, что следует увеличить дисковую емкость, и при использовании Thin Provisioning придерживаться стратегии регулярного добавления дисков по мере необходимости. Но если пределы масштабирования СХД достигнуты, проблема перерасхода может встать особенно остро. Возможность же отменить Thin Provisioning, сделав из «тонкого» диска обычный, существует не во всех дисковых массивах.

Потерять производительность систем хранения данных – риск, пожалуй, еще более существенный. В первую очередь Thin Provisioning влияет на производительность задач, связанных с интенсивной записью (линейный монтаж видео, резервное копирование и пр.), поскольку выделение пространства по требованию приложения накладывает дополнительную нагрузку на контроллер СХД. Компания EMC рекомендует там, где нужна производительность, использовать традиционные тома, «тонкие» же применять там, где более важны эффективность и совокупная стоимость владения, – для архивов и файлового хранения. А компания HP предлагает бороться с потерей производительности путем аппаратной реализации функционала Thin Provisioning: в массивах HP 3PAR это сделано с помощью специальных микросхем ASIC.

Но наиболее сложной задачей при реализации Thin Provisioning остается возвращение блоков LUN, освободившихся после удаления данных, в общий пул ресурсов (Space Reclamation или Thin Reclamation). Если не использовать Thin Reclamation, система хранения продолжает воспринимать освободившиеся блоки как содержащие данные, процент заполнения LUN не снижается, и «тонкий» том постепенно становится все более и более «толстым». Проблема эта лежит не на стороне СХД, а на стороне сервера, а именно файловой системы и приложений. Некоторые файловые системы и приложения не адаптированы для Thin Provisioning – они занимают сразу все доступное физическое пространство, что в конечном счете может привести к нехватке места и остановке сервисов.

Каждый производитель решает задачу по-своему. «К сожалению, сейчас нет единого для всех производителей механизма возврата освобожденных файловой системой блоков, – сетует Р. Ройфман. – Хотя отдельные файловые системы со встроенными механизмами возврата блоков уже представлены на рынке и в последние годы мы видим значительные усилия индустрии по стандартизации таких механизмов, но пока можно говорить лишь об отрывочных решениях». Для примера возьмем реализацию Thin Reclamation в массивах HP 3PAR. В упоминавшуюся выше микросхему HP 3PAR ASIC встроена функция Thin Persistence, которая ищет на дисках блоки, состоящие из нулей, и возвращает их в пул свободной емкости. Кроме того, функция позволяет анализировать данные перед записью на «тонкий» том, обнаруживать и не записывать на СХД данные, которые были удалены приложениями, но физически остались на диске сервера.

С использованием принципов виртуализации связаны не только упомянутые в статье, но и ряд других технологий, например автоматизированное распределение данных по уровням хранения (storage tiering). Каждая из них несет потребителю свои преимущества, но при этом порождает определенные риски. Взвешивая «за» и «против», всегда нужно иметь в виду конечную цель. Чему заказчик отдаст предпочтение – эффективности (защите инвестиций) или надежности и отказоустойчивости? Применительно к СХД есть основания полагать, что отказоустойчивость, независимость от аппаратных и программных сбоев, все-таки важнее.