ЦОДы 20 лет спустя: технологии меняются, принципы неизменны

– Знаковым было создание корпоративного ЦОДа ТНК-BP, введенного в эксплуатацию в 2004 г. Это был один из первых НАСТОЯЩИХ корпоративных ЦОДов. Объект небольшой, на 60 с чем-то стоек, но с полноценным резервированием: ДГУ по схеме 2N, ИБП – 2N+1 и т.д. Насколько я знаю, он работает до сих пор, хотя и после модернизации.

Перед этим проектом мне удалось посмотреть в Англии и США ЦОДы известных банков – HSBC, ABN AMRO, DataGuard, Credit Suisse и др. – и понять основной принцип построения таких объектов: бизнес-критичная инфраструктура должна работать непрерывно. Этот принцип и был реализован в проекте ТНК-BP.

Уникальным был не только сам проект ЦОДа, но и процесс переноса в него ИТ-систем из трех серверных – ТНК, BP и «Сиданко» (в то время как раз происходило объединение названных структур). Перерыв в работе систем надо было минимизировать. Работали в выходные: оборудование отключали, упаковывали в целлофан, перевозили на машинах с охраной, устанавливали и подключали – серьезная была история. Через неделю после того, как ЦОД заработал, случился блэкаут из-за пожара на Чагинской подстанции, и большая часть Москвы осталась без света. Но наш ЦОД продолжал работать. А серверные, откуда успели перевезти оборудования, встали бы. 

Следующий знаковый проект – М1, один из первых коммерческих ЦОДов. К тому времени наша команда уже выделилась в отдельное юрлицо, и это был первый консалтинговый проект, который мы делали для коммерческого ЦОДа. Там были свои подрядчики, нас же, зная опыт работы в ТНК-BP, пригласили проанализировать проектные решения, определить возможные точки отказа. Мы дали свои рекомендации по изменению проекта, что позволило повысить надежность ЦОДа.

– Тогда еще не было программы сертификации Uptime Institute. Но ЦОД отвечал основным принципам Tier III. В частности, уровень резервирования инженерной инфраструктуры позволял проводить ремонт оборудования без отключения ИТ-нагрузки.

– Назову проект для МТС, реализованный в 2005–2006 гг. Это был основной ЦОД оператора, где были развернуты биллинговые системы, а отключение биллинга, как вы понимаете, абсолютно недопустимо. Там стояли мейнфреймы, «тяжелые» дисковые системы, огромная ленточная библиотека и обычные серверные стойки. ЦОД должны были построить за 11 месяцев, но по факту построили за 13–14 месяцев – немного подвели строители, которые не понимали сначала сложности и высокого уровня требований, и им пришлось переделывать полы и стены.

Понятно, что в проект была заложена высокая степень резервирования, непрерывное охлаждение. Но главная особенность – высокая энергетическая плотность – до 25 кВт на стойку, в среднем 8 кВт. И это было сделано 20 лет назад. ЦОД также работает до сих пор.

Почему я в качестве примера привожу эти проекты? Они доказывают, что для ЦОДа 20-летний жизненный цикл абсолютно нормален. Безусловно, за этим стоит качество оборудования, качество материалов, качество монтажа. И детальный расчет, который был сделан не по предельным показателям, а с определенным запасом прочности.

И еще: даже наши первые ЦОДы были построены как бизнес-критичные инфраструктуры. Мы проектировали и строили их с четким пониманием, что они не должны «лечь» никогда, ни при каких обстоятельствах. И этого принципа мы придерживаемся до сих пор.

– Востребованность любой технологии в конечном счете определяется экономикой проекта. Взять, например, межрядные кондиционеры. Очень качественные и надежные решения, доставляют холод близко к стойке, однако обходятся дорого в пересчете на киловатт. У нас были проекты, в которых мы использовали межрядники, но это были корпоративные ЦОДы, где применение такого оборудования оправдано. Поставить межрядники там, где можно использовать обычный кондиционер, например с выдувом под фальшпол, не самое лучшее с коммерческой точки зрения решение.

Как и любое решение, оно хорошо к месту. Вы упомянули динамические ИБП. Замечательное решение, но… для своих задач. Это далеко не универсальный инструмент.

– Этот хайп не первый и не последний. Вспомним интернет вещей, 5G… Все они грозили какими-то миллионами терабайт данных, которые надо будет хранить и обрабатывать. Да, объемы данных растут быстро, но темпы роста не соответствуют прогнозам, которые давали разные аналитики.

Поэтому берите цифры аналитиков, извлекайте из них квадратный корень или хотя бы делите на два и ориентируйтесь на этот результат. Тем более в России. Во-первых, у нас все происходит медленнее. Во-вторых, у нас есть ограничения, связанные с вычислительной техникой, которая в стране не производится. Мы ее привозим, а этот процесс сдерживается санкциями.

Вернемся к искусственному интеллекту. Специфические требования к ЦОДам предъявляет обучение моделей. Это ресурсоемкий процесс, здесь затрачивается много электричества, 30 и более киловатт на стойку. Но самих стоек не слишком много, они могут быть установлены в специализированных ЦОДах или отдельных зонах (модулях) обычных ЦОДов. Никаких революционных требований к большинству ЦОДов искусственный интеллект не предъявляет.

На сегодняшний день, насколько я знаю из статистики Uptime Institute, повышение плотности мощности стоек связано в основном с корпоративными приложениями, а не с 5G или искусственным интеллектом.

– Инновации хороши, когда они внедряются не революционно, а эволюционно. Возьмем, для примера, естественное охлаждение (фрикулинг). Сначала были обычные чиллеры, без фрикулинга. Потом появилась функция фрикулинга, которая включалась с определенного момента, когда внешняя температура опускалась ниже заданного уровня. Потом – плавный фрикулинг, использование которого увеличивалось по мере снижения температуры. Потом начали переходить на высокотемпературные контуры, фрикулинг стал применяться большую часть года.

В этом случае новая технология – фрикулинг – внедрялась не мгновенно, по щелчку, а постепенно, не создавая дополнительных рисков, связанных с надежностью функционирования ЦОДа.

Другой пример – прямое жидкостное охлаждение. Появились системы на базе блоков CDU (Сoolant Distribution Unit) – действительно хорошее с инженерной точки зрения решение. Оно проникает в отрасль и меняет наши проекты. Но традиционное воздушное охлаждение никуда не исчезает. Мы говорим о гибридном охлаждении, когда используются и воздух, и жидкость. Опять налицо постепенное внедрение, постепенное совершенствование, потому что слишком высока ответственность всех систем.

Инновации в нашей отрасли происходят постоянно, но небольшими шажками, поскольку крайне важно сохранять надежность систем и не вносить никаких дополнительных рисков. 

– Если говорить о будущем, то надо в первую очередь понять, как будет развиваться вычислительная техника. Я думаю, все идет к тому, что в какой-то момент компьютеры разделятся на составные части: грубо говоря, отдельно будут процессорные блоки со своими требованиями к инфраструктуре, отдельно система хранения, отдельно системы ввода-вывода и т.д. Конечно, должна быть обеспечена высокоскоростная связь между этими модулями. Не знаю, на чем это будет реализовано, может быть, на сверхпроводниках. Но как только это будет сделано, произойдет скачок с точки зрения вычислительных мощностей, и нам придется принципиально менять подходы к проектированию и строительству ЦОДов. И это будет очень серьезный вызов.

По сути, речь идет о специализации ЦОДов. Собственно говоря, и 20 лет назад, когда мы проектировали упомянутый ЦОД для МТС, мы уже говорили, что нужны отдельные зоны для «тяжелых» дисковых массивов, для обычных серверов, для ленточных библиотек, потому что требования у разных систем разные. Например, те же ленточные библиотеки практически не выделяют тепла, но занимают достаточно большую площадь и требуют большого количества сетевых подключений.

Сегодня уже очевидно, что для обучения моделей искусственного интеллекта нужна отдельная техническая система со своими характеристиками. Возможно, это и будут отдельные ЦОДы с высоконагруженными стойками, а возможно, модули в рамках «обычных» ЦОДов.

Когда заказчик просит нас построить ему корпоративный ЦОД, первое, что мы спрашиваем, есть ли у него ИТ-стратегия. Если ее нет, как проектировать и строить ЦОД, не понимая, куда будет двигаться компания ближайшие 5–10 лет? Мы должны знать планы развития, знать, на какой аппаратной базе компания будет их реализовывать, какими темпами внедрять новые серверы и пр. И только тогда можно сформировать грамотное техническое задание и построить ЦОД, который будет потом работать 20 лет. А если ты не понимаешь, как и чем ЦОД будет наполняться, то уже к моменту ввода в эксплуатацию он может оказаться неактуальным.

– Раньше я считал, что «нормативка» для нас является дополнительным ограничителем с точки зрения выработки технических решений. Не хотелось, чтобы нас еще чем-то связывали, потому что и так перечень нормативных документов в начале каждого ТЗ занимает десятки страниц.

Однако сейчас понимаю, что нормативная база нужна, во-первых, чтобы разговаривать с новыми заказчиками, например, из числа девелоперов. Им нужно понять, что это за объекты такие, ЦОДы, как они регулируются. Во-вторых, четкое законодательное определения понятий, связанных с ЦОДами, необходимо для государственной поддержки отрасли. Здесь главным образом важны вопросы финансирования, потому что сегодня основной сдерживающий фактор при реализации проекта ЦОДа – высокая стоимость денег. Но невозможно объяснить инвестору, почему он должен вкладывать деньги в проект, который будет окупаться 10–12 лет. Не-воз-мож-но! Все хотят, чтобы проект окупался за пять-шесть лет, но для этого цена денег должна быть гораздо ниже. Без этого проекты на поток поставить нельзя. А ЦОДы нужны экономике, нужны в Москве и в Санкт-Петербурге, нужны в регионах, нужны по всей стране.

Формирование нормативной базы – показатель зрелости отрасли. Вопрос в том, кто ее формирует. Этим должны заниматься практики, люди с опытом в цодостроении, а не те, кто никогда никакого отношения к ЦОДам не имел. Радует, что в России к работе над нормативной базой через АНО КС ЦОД привлечены основные игроки рынка. Это важная работа, которую обязательно надо сделать, потому что, если мы ее не сделаем, ее сделают другие, но гораздо хуже.

– Изменилось многое. Прежде всего ЦОДы стали гораздо крупнее: первые наши проекты были на 60 стоек, а сейчас – от двух-четырех тысяч. У нас появилась целая куча технических «фишек». Мы научились делать более гибкие инженерные решения с точки зрения резервирования. То есть мы обеспечиваем высокий уровень надежности меньшим количеством оборудования, но более сложными схемными решениями. На смену «жирным» 2N приходят дробные схемы резервирования.

Меняются участники рынка. На рынок выходят новые игроки, например девелоперы. Они привносят свои навыки строительства и перенимают наш опыт в области высоких технологий, что позволяет выполнять большие проекты быстрее. И это хорошо для отрасли.

Меняются заказчики. Они стали гораздо грамотнее в вопросах цодостроения. И в этом огромная заслуга «ИКС» с конференциями, обучением, журналом. Среди заказчиков все больше людей увлеченных, и это помогает в проектах.

Но принципы не изменились. Нам важно экономически оправданно создать надежную инфраструктуру, обладающую необходимой гибкостью. Мы строим ЦОД два года, а потом заказчик 10–20 лет его эксплуатирует, и у него не должно возникнуть при этом никаких серьезных проблем. Надежность по-прежнему – главная характеристика ЦОДа, и это осталось неизменным.

Рекламодатель: ООО "ДИ СИ КВАДРАТ"  ИНН: 7736571140  ERID: 2VfnxyH9q4L

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!