Rambler's Top100
Статьи ИКС № 3 2022
Николай НОСОВ  09 августа 2022

Квартиры для серверов

Российский рынок коммерческих ЦОДов продолжает расти, хотя и не столь быстро, как в предыдущие годы. Сколько серверных стоек ему потребуется? Какие требования предъявляются к стойкам и их поставщикам?

Если сравнивать дата-центр с многоэтажным домом, то стоечные шкафы для серверов можно рассматривать как квартиры. Задачи у них, как у квартир: обеспечить комфортную среду обитания жильцам-серверам. Каждый, кто занимался покупкой или съемом жилья, понимает, что выбор не прост. Нелегко выбрать и стойки. Попробуем разобраться, как на рынке сказывается геополитическая ситуация и на что обращают внимание заказчики.

Стоек потребуется меньше

Пандемия COVID-19 и карантинные меры стали серьезным испытанием для бизнеса в целом и для рынка стоек в частности. Возникли логистические и транспортные проблемы, выросли цены на металл. Ситуация улучшилась в конце 2021 г., но ослабление карантинных мер совпало с началом геополитического кризиса на Украине. Введенные санкции не наложили ограничений на поставки стоек в Россию, но удары по российским финансовым организациям значительно усложнили проведение торговых операций, изменили транспортные коридоры и порядок расчетов. Многие вендоры стали требовать 100%-ной предоплаты продукции, что также отрицательно повлияло на поставки.
Источник: iKS-Consulting
Рис. 1. Динамика продаж ИТ-стоек в России, $млн

В результате, как прогнозируют аналитики iKS-Consulting в исследовании «Российский рынок ИКТ-стоек 2021», объем рынка в денежном выражении уменьшится с $19,8 млн в 2021 г. до $12 млн в 2022 г. (рис. 1). Скажутся и санкционные ограничения на поставку серверов в Россию. Меньше поступает в страну вычислительного оборудования – меньше требуется стоек. 

Частично нехватку западного оборудования компенсирует параллельный импорт, но в целом объем поставок сократится. Поэтому несмотря на то, что в течение последних четырех лет в среднем ежегодно продавалось 18,4 тыс. стоечных шкафов, в 2022 г., считают в iKS-Consulting, их продажи упадут до 11 тыс. (рис. 2).
Источник: iKS-Consulting
Рис. 2. Динамика продаж ИТ-стоек в России, тыс. шт.

Дефицит ИТ-оборудования вызвал повышенный спрос на облачные услуги. Коммерческим ЦОДам проще решать вопросы поставки серверов, так что в этом сегменте рынка, по прогнозам iKS-Consulting, динамика останется положительной (рис. 3).
Источник: iKS-Consulting
Рис. 3. Динамика российского рынка коммерческих ЦОДов (в стойках), факт. 2015–2021 гг., базовый прогноз до 2030 г.

В то же время стоит обратить внимание на уход западных компаний, являвшихся клиентами коммерческих ЦОДов. Так что в перспективе темпы роста спроса на стойки могут оказаться ниже ожидаемых.

Время российских компаний

Многие зарубежные вендоры приостановили свою деятельность России или совсем ушли с нашего рынка. Так, в июле свой российский бизнес продала  команде менеджмента компания Schneider Electric, чья доля в парке установленных в дата-центрах стоечных шкафов, по оценке iKS-Consulting, в настоящее время достигает 46,6%. Приостановили работу компании Rittal, CommScope, резко снизила активность Panduit.

В 2021 г. доля (в денежном выражении) российских изготовителей стоек, по данным iKS-Consulting, составляла 29,6%, причем на четверку лидеров – ЦМО, С3 Solutions, Emilink и ITK – приходилось 27,9%. Скорее всего, эти компании и будут делить освобождающуюся поляну. 

В основном у заказчиков предубеждений против российской продукции нет. Например, руководитель ЦОДа Linxdatacenter в Санкт-Петербурге Тарас Чирков сообщил, что в настоящее время компания рассматривает возможность приобретения продукции российских производителей и не имеет предпочтений в отношении брендов. «Российские производители уже делают стойки, по качеству сравнимые с европейскими. Они вполне конкурентоспособны даже в условиях нормального взаимодействия с европейскими вендорами стоечного оборудования», – считает он.

Доверяй, но проверяй

Здоровый консерватизм – основа успешного бизнеса. Многие заказчики привыкли использовать продукцию ведущих мировых вендоров и теперь не спешат переходить на российские аналоги. Тем более что к некоторым из них возникают претензии.

«Многие говорят, что делают копию стоек APC (Shneider Electric), но в тестируемых нами аналогах немало важных отличий. Например, хуже качество покраски, хотя поставщики утверждают, что технология та же. Бывает, что некоторые особенности не позволяют нормально эксплуатировать стойку. Например, в решении одной известной российской компании невозможно разместить PDU в задней части стойки так, чтобы она не выходила за пределы направляющих. В результате PDU будет частично закрывать серверы, затрудняя к ним доступ. К некоторым моделям серверов станет невозможно что-либо подключить, скажем, кабель электропитания или SFP-модуль. Особенно трудно будет работать с мелкими стойками глубиной 1000 мм», – констатировал директор по ИТ компании 3data Валентин Соколов.

Не все производители предоставляют возможность выбрать продукт с боковой стенкой или без нее. Однако клиенту дата-центра, которому требуется 30–100 стоек, зачастую не важны боковые стенки. От них можно отказаться и при покупке партии сэкономить значительную сумму.

«В стойке одного из российских производителей между закрытой дверью и рамой пролезают пальцы. У западного аналога, с которого делали копию, не пролезает даже спичка. Вроде мелочь, но клиенты могут посчитать такую стойку небезопасной», – привел эксперт другой пример. 

С нагрузочной способностью серверных стоек для ЦОДов, как правило, проблем нет. Но производители, выпускающие шкафы для телекома, не всегда обращают внимание на этот параметр, и рамы гнутся. Для некоторых ЦОДов важна и динамическая нагрузка, чтобы стойка не развалилась в случае перемещения с оборудованием на другое место.

Среди других недостатков эксперты отмечали болтающиеся ручки и даже возможность оцарапаться о некоторые дешевые стойки российских производителей.

Мировой бренд или российский производитель?

Покупка стоек известного мирового производителя выглядит более надежным решением. За спиной мировых лидеров огромный опыт, авторитет и большие объемы продаж. В коммерческом ЦОДе, претендующем на уровень премиум, более благоприятное впечатление на клиента произведут серверные шкафы с логотипами известных вендоров. И связь между надежностью оборудования и известностью бренда действительно есть.

«C проверенными поставщиками уже отработаны регламенты, сроки поставки оборудования и комплектующих для организации инфраструктуры. Практика показывает, что дешевые решения имеют нарекания к качеству исполнения, производительности и надежности. Поэтому нужно разумно сочетать цену и качество. Немаловажно также учитывать сроки поставки, наличие у поставщика своего производства, что гарантирует получение товара в заказанном объеме и в оговоренные сроки. Наша компания работает с несколькими поставщиками, чтобы избежать рисков срыва сроков поставки, получать рыночные цены, работать на перспективу, иметь альтернативные решения», – пояснила директор по клиентскому сервису IXcellerate Галина Журавлева.

В то же время свои козыри даже до начала СВО и последующих санкций имели и российские производители. Локальное производство – это короткие логистические цепочки, низкие транспортные расходы, близость служб поддержки и более оперативное решение возникающих при эксплуатации проблем.

Еще один козырь – возможность кастомизированных, созданных в соответствии с требованиями конкретного заказчика решений. «К сожалению, никто из мировых производителей не производит стоек шириной точно 600 мм – у всех больше. У Rittal, Vertiv, APC – 600 мм в металле плюс слой краски, который дает дополнительные миллиметры. Когда в ряд собирается 30 стоек, за фальш-плитку на полу ряд выступает больше чем на 5 см. Российских производителей мы заставляем делать точно 600 мм с покраской, чтобы на 30 стойках все сошлось. А зарубежный не станет делать стойку специально для вас», – привел пример директор по инфраструктуре «Селектел» Алексей Еременко.

Критерии выбора

Важнейшие критерии выбора стойки – несущая способность и размеры (см. таблицу). «Главный фактор при выборе стоечного решения для дата-центра – технические требования. Например, нам нужны стойки высотой 47 юнитов. Они могут быть больше, но меньше – нет, это политика компании. Мы используем четыре стандартных габарита – 600 х1000 мм, 600 х 1200 мм, 800 х 1000 мм и 800 х 1200 мм. У стоек должна быть необходимая несущая способность. Нужны сталь определенной толщины, чтобы конструкция не проминалась, и хорошая покраска. Для нас важно, чтобы стойку привезли нам на тестирование, и мы попробовали установить в нее оборудование», – рассказал о требованиях Selectel А. Еременко, повторив, что дата-центр ориентируется в первую очередь на стойки, произведенные в России. 

Компания отказалась от использования разборных стоек. Покупает стойки только со сварной рамой, которые привозят в сборе и сразу устанавливают. У стоек нет ножек – их перемещение не предусмотрено, и динамическая нагрузка не важна. При отсутствии ножек пол повышает герметичность конструкции.

«Выбор стоек основывается на техническом задании клиента, на том, какое оборудование он планирует в них устанавливать. Для телекоммуникационной стойки рекомендованная ширина – 800 мм, для серверной – 600 мм. У многих компаний выработаны свои стандарты для стоек (например, ширина 750 мм), а также требования к наличию боковых стенок. Для клиентов, арендующих у нас стойко-место со стойкой, стандартными габаритами считается ширина 600 мм, глубина 1060 мм и высота 48U», – сообщила Г. Журавлева.

Опрос экспертов показал, что установка аксессуаров вендором не слишком важна. Коммерческие дата-центры в основном приобретают только стойку, максимум с органайзером для PDU, а остальные устройства и аксессуары (АВР, кабельные органайзеры, PDU, СКУД и т.д.) покупают отдельно, зачастую у разных поставщиков, и дооснащают стойки в соответствии с требованиями конкретных клиентов. Однако желательно, чтобы имелись щеточные вводы для герметизации стойки. Помимо функции защиты от пыли и попадания крупных предметов внутрь шкафа, они обеспечивают защиту кабеля от повреждений о края технических лючков – плотность ворса позволяет зафиксировать кабель в центре технологического отверстия.

Казалось, что корпоративным клиентам проще не заниматься сборкой и все приобретать в комплексе у одного вендора. Но на практике они чаще собирают стойки сами и при их выборе смотрят на простоту монтажа дополнительного оборудования. Конечно, удобно, когда у одного производителя можно заказать всю необходимую оснастку, но главное – чтобы стойка была типовой и не было уникальных аксессуаров, совместимых только с ней.

Защита от несанкционированного доступа не является обязательным требованием, но эта опция присутствует в продукции большинства производителей стоек. Есть заводы в Китае, которые могут изготовить замок для конкретного производителя. «Магнитные замки устанавливаем на любой шкаф сами. Можем организовать доступ по карточке и по отпечатку пальца. Такие возможности есть, но требуются редко. Также по требованию клиента устанавливаем АВР, органайзеры. Изначально предоставляем только стойку и PDU – это стандарт», – пояснил В. Соколов.

Возможность установки магнитных замков и СКУД, подключения их к информационной системе ЦОДа важны не только для коммерческих дата-центров, где много клиентов. В корпоративных ЦОДах замки используются для стоек с оборудованием систем информационной безопасности (например, криптошлюзы, по требованию регулятора, должны быть изолированы) и с данными, защищаемыми законодательством (в частности, персональными).

Таблица. На что обращать внимание при выборе стойки

 Параметр  Важность  Комментарий
 Глубина  Возможность размещения более габаритного ИТ-оборудования В качестве стандартных в коммерческих дата-центрах используются стойки глубиной 1000–1800 мм 
 Высота  Чем выше, тем больше можно разместить оборудования в данном пространстве Если оборудование тяжелое, высота может оказаться невостребованной, и деньги за более высокую стойку окажутся потраченными зря.
В коммерческих ЦОДах стандартная высота 47–48U, но некоторые ЦОДы по-прежнему используют стойки 42U

 Боковые стенки Важны для безопасности, чтобы исключить проникновение других клиентов ЦОДа Хорошо предусмотреть опциональную возможность демонтажа стенок для кроссировок соседних стоек
 Герметичность Предотвращает смешивание воздуха холодных и горячих коридоров Фронтальная герметичность обеспечивается установкой опциональных заглушек. Стоечные заглушки предотвращают подмес горячего воздуха в холодный коридор, что повышает эффективность охлаждения установленного оборудования 
 Нагрузочная способность Стойка не деформируется под нагрузкой Требуется сталь определенной толщины, чтобы конструкция не проминалась. Сегодня у всех более или менее известных брендов надежность стоек одинакова
 Удобство Снижает трудозатраты персонала на эксплуатацию – замену и подключение оборудования Стоит обратить внимание на удобство установки дополнительных аксессуаров, монтажа и обслуживания оборудования. Полезна возможность регулировки стойки без инструментов. Двойные распашные двери экономят пространство при открытии, но чаще ломаются
 Динамическая нагрузка Стойка с оборудованием не деформируется при перемещении Как правило, стойки в ЦОДах не перемещают, и этот параметр важен в редких случаях
 Цвет Качественная окраска и хорошо подобранные цвета улучшают впечатление клиентов от дата-центра Большинство предлагает черный цвет. Важно однообразие цвета во избежание пестроты
 Безопасность Защита содержимого стоечного шкафа от несанкционированного доступа Не все стойки обеспечивают возможность установки магнитных замков и СКУД 
 Качество Соответствие продукта заявленным параметрам В дешевых стойках не всегда совпадают крепежные отверстия. Иногда надо разжимать направляющие, чтобы вставить установочные рельсы

Наиболее значимые критерии, по которым выбираются стойки, – точность геометрии и габаритов, а также наличие защиты от несанкционированного доступа. Прочие же требования, которые относятся к значимым, характеризуют скорее поставщиков и производителей, нежели саму продукцию: предоставление гарантии; широкий ассортимент, позволяющий докупать необходимую оснастку; оперативная техническая поддержка; комплектность поставки и консультация поставщика. 

Цвет и мода

«Компьютерная индустрия – единственная отрасль, которая движима модой в большей степени, чем индустрия женской моды», – заявил однажды основатель Oracle и любитель острых афоризмов Ларри Элиссон. В чем-то это справедливо и для стоек. «У каждого времени свой цвет. Раньше в моде был серый. Сейчас он отдает 2008-м. В настоящее время используются черный или корпоративные цвета», – дал комментарий А. Еременко. 

Впрочем, не все считают черный цвет хорошим вариантом. Представитель службы эксплуатации ЦОДа крупного банка пояснил нашему изданию, что черный подходит только для коммерческих дата-центров с их повышенными требованиями к чистоте машзала. По мнению эксперта, пыль приводит к появлению на черной поверхности трудно выводимых светлых разводов, и он по-прежнему выбирает для стоечных шкафов серый цвет.

Новые направления

Стойки – очень консервативный элемент инфраструктуры. Большинство опрошенных не меняли их и выводили из эксплуатации только в связи с закрытием машзала. Тем не менее и стоечные шкафы подвержены развитию. Если лет 20 назад стандартом были стойки высотой 42U, то сейчас стандарты большинства коммерческих ЦОДов не позволяют брать стойки ниже 47U. Уже появляются стойки , соответствующие концепции Open Computer Project, а клиенты стали интересоваться жидкостным и даже погружным  охлаждением.

Российский лидер в использовании стоек, разработанных в соответствии с концепцией OCP, – «Яндекс». Раньше стойки закупали на Тайване, но в свете последних событий компании придется делать ставку на российское производство. 

В коммерческих дата-центрах стойки OCP – редко встречающаяся экзотика. «Концепция OCP неприменима для коммерческих ЦОДов, как по соображениям безопасности, так и из-за необходимости организации холодоснабжения. Даже если в серверном помещении ЦОДа можно выделить для таких стоек закрытую зону, то их прецизионное охлаждение под вопросом. В коммерческих ЦОДах применяются, как правило, либо холодные, либо горячие коридоры, а тут требуется отдельное решение», – считает Т. Чирков.

Тем не менее и в коммерческих ЦОДах подобные стойки уже встречаются. «У 3data есть один клиент, использующий концепцию OCP, которая обеспечивает максимальную плотность размещения вычислительных мощностей. Для ЦОДов – это вызов по подводке электричества и организации охлаждения. Эти системы изучаем, но пока конкретики нет. Перспективным выглядит жидкостное охлаждение таких стоек – все модули одинаковые, и можно заранее понять, где будут стыковаться трубки с теплоносителем», – пояснил В. Соколов.

А вот иммерсионное охлаждение в коммерческих ЦОДах использовать неудобно. «В коммерческих ЦОДа применение иммерсионного охлаждения затруднено, поскольку придется решать проблемы использования оборудования клиентов в нестандартных режимах. Запросов пока нет», – прокомментировал Т. Чирков.

«Для иммерсионного охлаждения экономика начинает складываться, когда в стойку устанавливается оборудование с тепловыделением от 60 кВт. Например, когда много мощных видеокарт, и сервер, занимающий 6U, выделяет 8 кВт, тогда стойка высотой 48U будет выделять 64 кВт. Но такие проекты очень редки, серверную из 20 стоек не соберем», – пояснил А. Еременко. Пока подобные «квартиры для серверов» можно найти только в специализирующихся на майнинге фермах или корпоративных дата-центрах для высокопроизводительных вычислений.

Клиенты ждут, но терпение небезгранично

Рынок стоек очень консервативен, это касается и используемых решений, и выбора вендора. Неудивительно, что пока заказчики в основном занимают выжидательную позицию, надеясь на возвращение знакомых марок или параллельный импорт. С другой стороны, время идет, работать надо и все больше потребителей присматриваются к отечественным решениям, тем более что многие российские компании давно не новички.

Взятый в 2014 г. курс на импортозамещение и давление на компании с госучастием стимулировали появление и развитие российских производителей стоек, качество продукции которых заметно улучшилось. Если в ближайшее время западные вендоры не вернутся, то в будущем им станет сложнее отвоевывать оставленные позиции на рынке – клиенты уже привыкнут к использованию российских решений.
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!