• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Ошибки при создании ЦОДа. Климатические системы

Авторы многочисленных сегодня материалов о том, как правильно строить дата-центры и какие стандарты, нормы и правила нужно при этом соблюдать, делятся в основном положительным опытом, умалчивая о совершенных ошибках. На наш взгляд, ошибки и способы их исправления – более ценный опыт, который как раз и заслуживает внимания.

Планирование

Почвой для львиной доли проблем, которые могут возникнуть в проекте создания ЦОДа, является договор, заключаемый между заказчиком дата-центра и исполнителем работ. Наиболее явные признаки того, что проблемы в будущем могут появиться, – это вынужденно компромиссные сроки, оторванные от реального плана-графика и технологии производства работ, отсутствие в структуре договора раздела учета и фиксации логических этапов реализации проекта. Кроме того, все еще встречаются ситуации, когда условия договора и его приложений согласуются без привлечения и учета рекомендаций технического отдела, ответственного в будущем за осуществление проекта.

Сроки

Острая конкуренция среди исполнителей проектов создания ЦОДов и как следствие – жесткие ключевые показатели эффективности вкупе с нехваткой кадров и необходимых компетенций порождают чрезмерно оптимистичные и порой далекие от реальности взгляды на сроки реализации проекта. Итогом, как правило, становится спешка, стремление выполнить проектирование поверхностно, начать тот или иной этап работ до окончания предыдущего (работа «с колес»), проведение монтажа в отсутствие утвержденной проектной документации, а также запараллеливание работы нескольких монтажных бригад, собирающих смежные инженерные системы на одном участке.

Работа «с колес» может привести к тому, что, скажем, какая-то система будет смонтирована неверно из-за внесения в проект на финальной стадии изменений, обусловленных согласованием со смежными проектами. Другой пример – закупка материалов и оборудования до появления утвержденной спецификации. В результате может оказаться, что были закуплены совсем не те комплектующие, которые нужны.

Если же на одном участке запланирован одновременный монтаж двух разных систем несколькими монтажными бригадами либо для инженерных систем, взаимно влияющих друг на друга, установлена одна и та же дата окончания работ, то часть работ неизбежно окажется невозможно завершить вовремя и общий срок реализации проекта увеличится.

Отсутствие отечественных стандартов «помогает» совершать ошибки при создании ЦОДов

Алексей НИКИШИН, руководитель отдела сопровождения продаж, OOO «АМДтехнологии», канд. техн. наук Общая беда большинства проектировщиков – неумение или нежелание самостоятельно подбирать оборудование с использованием специальных программ, предоставляемых заводами-изготовителями. Поэтому они нередко принимают на веру слова поставщиков о соответствии предлагаемого оборудования проекту ЦОДа, забывая, что основная задача поставщика – продать оборудование. Кроме того, проектировщики часто не проверяют пределы применимости и комплектность подобранного оборудования. До сих пор встречаются проекты даже средних по мощности тепловыделений (до 150 кВт) дата-центров, в проект СКВ которых заложены полупромышленные или даже бытовые сплит-системы с нижним рабочим пределом наружной температуры -10…-15°С. И это не для юга, а для средней полосы России! А общая беда заказчиков – выбор в качестве проектировщиков ЦОДа и в частности его СКВ компаний, которые ранее такие объекты никогда не проектировали. Разница же в подходах к проектированию торгового центра или гостиницы и ЦОДа даже не подлежит обсуждению. Не могу не сказать про вентиляцию ЦОДа и кратность воздухообмена. В проектах встречается кратность от нуля до трех. В настоящее время единственный документ, регламентирующий этот вопрос применительно к ЦОДам, – это СН 512-78, о котором некоторые проектировщики, похоже, даже не знают. В этом документе (п. 4.18) указано: «Количество наружного воздуха в системах кондиционирования принимается из расчета 60 м3/ч на одного работающего, но при этом должен обеспечиваться не менее чем двукратный воздухообмен в час». Еще одна ошибка в проектах, также связанная с вентиляцией, – это игнорирование проектировщиками теплоты, вносимой в машзал ЦОДа приточной вентиляцией в летний период. Приточные установки, работающие на помещения с ИT-оборудованием, далеко не всегда оснащают секцией охлаждения воздуха, поэтому наружный воздух с температурой +30°С и выше дает дополнительную нагрузку на СКВ дата-центра. А перегрев серверов в верхней трети-четверти стойки зачастую вызван непродуманной организацией воздухораспределения и подачи воздуха к стойкам ИT-оборудования. Но часто проектировщики или не знают, или просто забывают об этом. Давно назрел вопрос разработки и создания отечественного стандарта, РД, СНиПа или СНиПов по проектированию ЦОДов. Ассоциацией участников отрасли ЦОД такая работа начата, и можно только пожелать коллективу авторов успехов в их нужной и своевременной работе.

Детализация

Другая ошибка этапа планирования – планирование «крупными мазками» по ключевым видам работ, услуг или ключевым инженерным системам без учета особенностей площадки, условий ведения работ и сезона их производства. Так происходит в случае разработки только базового плана-графика, без его детализации. Тщательная проработка плана-графика еще на этапе планирования даст реалистичную картину предстоящего проекта создания ЦОДа и позволит своевременно выявить узкие места.

Подрядные ресурсы

Стремление к экономии – вещь в целом положительная, но оценка потенциальных исполнителей работ исходя только из цены приводит к достаточно распространенной ошибке – выбору «самых недорогих» подрядчиков. Нужно отдавать себе отчет в том, что дешевизна таких организаций в подавляющем большинстве случаев обусловлена незнанием требуемой технологии проведения работ и непониманием полного их объема, посредственным инструментальным обеспечением и низкой квалификацией персонала.

Сделав выбор в пользу «самых недорогих» подрядчиков без выяснения причин их невысокой стоимости, мы получим «черный ящик». Открыв его, мы можем столкнуться с необходимостью обучения проектировщиков основам проектирования и правилам оформления документации, обучения персонала подрядчика при производстве работ на объекте, неустанного и усиленного контроля за качеством работ и соблюдением проекта и даже c необходимостью выполнить часть работ самостоятельно и за собственные средства.

В сухом остатке – многочисленные итерации по устранению проблем и недостатков, увеличение затрат и сроков, риски штрафных санкций, а порой и непредсказуемый результат при наладке.

Проектно-изыскательские работы

Данный этап чреват множеством потенциальных ошибок, порой критических, сильно влияющих на дальнейшую жизнеспособность ЦОДа.

Неверный выбор типоразмера оборудования

К неверному выбору типоразмера относится как переразмеривание, так и недоразмеривание параметров оборудования. Переразмеривание возникает, например, когда на каждом этапе пересчета от первоначальной нагрузки к конечному элементу в систему закладывается свой запас. Скажем, в чиллерной системе холодоснабжения ЦОДа для отвода тепла от стойки необходим кондиционер производительностью Х кВт. Делаем запас 10%, т.е. Х110%. Далее рассчитываем теплообменник, на него также берем запас 10%, следовательно, мощность теплообменника составит X110%110% = X121%. Потом делаем запас 10% на чиллере: X121%110% = Х133%. В результате полная величина запаса производительности холодильной машины составит 33% вместо предполагавшихся ранее 10%. При большем количестве элементов в системе накапливается больший запас. Избыточный запас оказывает негативное влияние на систему – как за счет увеличения первоначальных инвестиций, так и за счет увеличения стоимости смежных систем, в данном случае системы электроснабжения и конструктива для размещения холодильных машин.

Другая крайность – недоразмеривание. Часто оборудование выбирают в точном соответствии с нагрузкой. Это, конечно, снижает стоимость системы в целом и позволяет вырваться в лидеры в тендере, но негативно сказывается на работе и испытаниях системы, поскольку подбор практически любого оборудования имеет погрешность 5–10%, и эта погрешность может оказаться как в большую, так и в меньшую сторону.

Таким образом, следует, с одной стороны, обязательно учитывать погрешность подбора оборудования, а с другой – избегать повторного учета погрешности.

Непонимание технологий и алгоритмов работы оборудования

Вследствие такого непонимания оборудование, предназначенное для использования в одной технологической области, устанавливают для работы в другой, более требовательной. Например, дискретно-регулируемый воздухоохладитель из пищевой холодильной промышленности устанавливают в систему вентиляции с прецизионной подачей приточного воздуха. Естественно, дискретный алгоритм не позволяет прецизионно поддерживать ни температуру, ни влажность воздуха. Поэтому приходится модернизировать систему автоматизации, тем самым увеличивая стоимость автоматики и срок наладки системы.

Некорректный учет нагрузок

Одним из примеров некорректного учета нагрузок является игнорирование теплопоступлений от распределительных щитов или батарей в расчете избытков тепла. Если мощность объекта невелика, то такими теплопоступлениями действительно можно пренебречь, но если счет идет на мегаватты, они становятся значительными и учитывать их необходимо.

Низкий уровень детализации проектных решений

При недостаточной детализации узлов и технических решений, таких как узлы крепежа/монтажа опор оборудования, разводка технологических трубопроводов, необходимые уклоны и углы поворотов и т.п., возможны самоуправство монтажников на объекте, несогласованные пересечения со смежными системами, непонимание того, как систему монтировать, а как результат – низкое качество собранной системы.

Монтажные работы

На этапе монтажа проявляются последствия ошибок, допущенных на предыдущих этапах, не говоря уже о том, что могут быть совершены новые. Считаем необходимым выделить два типа ошибок: организационные и ошибки собственно монтажа.

Организационные ошибки

Отсутствие контроля. При отсутствии контроля за соблюдением проекта, применяемыми технологиями монтажа и его качеством, соблюдением действующих нормативов, техники безопасности, актированием работ, протоколированием совещаний, регистрацией писем и т.п. проект может стать полностью не­управляемым, а результат – непредсказуемым. Кажется, что нет людей, которые этого не знают, но всё же нередко оказывается, что контроль за отдельными вещами не ведется.

Принятие решений монтажниками. В случае возникновения спорной ситуации, например при пересечении коммуникаций или наложении оборудования друг на друга, руководитель на объекте для ускорения работ часто не приглашает проектировщиков или главного инженера проекта, а полагается на благоразумие монтажников, доверяя им принять решение об отклонении от проектной документации. И монтажники этой системы, не видя комплекса инженерных систем в целом, подвинут коммуникации или оборудование. С выходом на объект бригады монтажников, занимающихся смежной инженерной системой, возникнет новая проблема, но уже в другом месте. Поэтому решения об отклонении от проекта должны приниматься разработчиками проектных решений.

Отсутствие инструментального парка у подрядчика. Это очень распространенный недостаток, являющийся следствием выбора «самого недорогого» подрядчика. Отсутствие необходимых инструментов сильно затягивает процесс выполнения работ и снижает общее качество системы. К примеру, резать трубы разного диаметра можно либо ручным труборезом, либо ручной угловой шлифмашиной или «болгаркой». В первом случае разрезы будут ровными, и сделать их можно будет в четыре раза быстрее, чем во втором. Также грунтовку и окраску труб можно производить не кисточками и валиками, а краскопультом. Это ускорит процесс в несколько раз.

Ошибки монтажных работ

Отсутствие соосности и прямолинейности коммуникаций. Помимо того, что кривизна коммуникаций, как правило, бросается в глаза, отсутствие соосности труб служит источником проблем монтажа, а в дальнейшем и эксплуатации. Так, в случае резьбового соединения даже при незначительном отклонении оси одного трубопровода от оси другого герметизации этого соединения затруднена. Например, на одном из проектов при большом количестве узлов обвязки кондиционеров со сварными фитингами и резьбовыми соединениями арматуры пришлось долго производить гидравлические испытания и по их результатам герметизировать резьбовые соединения на узлах обвязки с заметной кривизной. На этом, не самом большом объекте было потеряно около месяца на доведение системы до надлежащего состояния. Значительно быстрее было бы использовать резьбовые фитинги либо выполнить сварку фитингов более качественно.

Отсутствие требуемых опор и оснований. Ни для кого не секрет, что в насосных станциях могут случаться протечки и для их локализации в помещении предусматривают разуклонку. Естественно, при установке непосредственно на полу с уклоном оборудование не будет выровнено. Для того чтобы избежать подобной ситуации, нужно предусмотреть выравнивающие основания и опоры. Наличие основания под оборудованием исключает возможность его подтопления в случае протечек. В других случаях основание снижает передачу вибрации на конструктив здания. Так или иначе будет ошибкой установить оборудование без основания или на основание несоответствующего размера.

Дренаж не в нижней точке. Нередко встречается установка дренажей трубопроводов не в нижней точке. В зависимости от условий эксплуатации последствия могут быть разными: от невозможности полностью заменить теплоноситель до замерзания трубы при использовании на улице. Поэтому для обеспечения полного слива участка врезки дренажей необходимо делать исключительно в нижних точках трубопроводов. Например, на одном из объектов дренаж был выполнен не в нижней точке трубопровода, а под 45° от вертикальной оси. Перенос его в нижнюю точку потребовал дополнительного времени. Иногда врезать дренаж в нижнюю точку трубопровода обычным способом невозможно из-за того, что трубопровод расположен близко от пола. В этом случае необходимо либо заблаговременно размещать трубопровод выше, либо преду­сматривать приямок под дренаж, либо изменять конфигурацию участка.

Неверно организованный выпуск воздуха. Например, неправильно использовать в верхних точках только автоматические воздухоотводчики, поскольку они не обеспечивают выпуск воздуха с большой производительностью при заполнении системы и не запускают воздух в систему при ее дренировании. Если же ручные выпуски воздуха размещать под потолком или в направлении вертикально вверх, то это не позволит эксплуатировать их без стремянки или безопасно спустить воздушно-жидкостную смесь в приемную емкость.

Короткие врезки. Короткие врезки для манометров и других контрольно-измерительных приборов могут сделать невозможной их эксплуатацию. К примеру, в некоторых случаях ручка трехходового клапана манометра при повороте упирается в трубу, что не позволяет ей полностью провернуться. Также необходимо учитывать, что на трубу будет наложена тепло­изоляция, и при следующем повороте она может быть повреждена. Врезки достаточной длины позволят избежать таких проблем.

Несоблюдение условий хранения уличного оборудования. Часто монтаж – процесс длительный, и установка оборудования может приходиться на лето, а его запуск – уже на зиму. Однако в случае с холодильной машиной ошибкой будет оставить ее до зимы после установки на предназначенное место. Холодильные машины нередко опрессовывают на заводе. Соответственно, в них остается вода, замерзание которой повлечет за собой разрыв калачей или иных внутренних коммуникаций. Для исключения неприятных сюрпризов при первом запуске холодильной машины ее необходимо заблаговременно подготовить к зимнему периоду – отвакуумировать или заполнить незамерзающей смесью.

Несоблюдение правил монтажа изделий и оборудования. Любое изделие и оборудование поставляется с паспортом продукта и указанием того, как его монтировать. Но не всегда этим паспортом пользуются при монтаже, что приводит к неудовлетворительным результатам. К примеру, при установке дискового затвора есть ряд правил, при невыполнении которых его эксплуатация становится или затруднительной, или невозможной:

• для монтажа дисковых поворотных затворов межфланцевого соединения применяют воротниковые фланцы (ГОСТ 12821-80). Монтаж с плоскими фланцами запрещен;

• при установке дисковых поворотных затворов прокладки не используются, так как функцию межфланцевых прокладок выполняет манжета затвора;

• поворотный затвор помещается между двумя фланцами (рисунок, часть а), слегка зажимается с помощью резьбовых соединений и выравнивается. Проверяется свободное хождение диска в корпусе затвора (рисунок, часть б);

• фланцы закрепляются с помощью точечной электросварки на трубопроводе, затвор демонтируется, фланцы привариваются к трубопроводу (фланцы должны быть расположены параллельно). Но приварка фланцев к трубопроводу с зажатым между ними дисковым затвором не допускается! При проведении сварочных работ фланцы нагреваются, и резиновая манжета может получить повреждение;

• дисковый затвор монтируется только в приоткрытом состоянии (рисунок, часть в). Если монтаж дискового затвора производится в закрытом состоянии, при стягивании фланцев манжета деформируется и обхватывает диск затвора. В дальнейшем при попытке открыть затвор диск повреждает манжету, и затвор приходит в негодность.

На одном из объектов для полного закрытия неверно установленного дискового затвора использовали дополнительные рычаги. Вследствие этого шток дискового затвора был сильно деформирован, что привело к невозможности дальнейшей эксплуатации дискового затвора и его замене.

Ввод в эксплуатацию

После монтажа оборудование налаживают, проводят испытания систем и передают объект от подрядчика к заказчику или непосредственно вводят в эксплуатацию. Этот период также насыщен возможностями допустить новые ошибки и обнаружить ранее сделанные, но мы остановимся всего на одной.

Можно провести аналогию между созданием ЦОДа и формированием молодого специалиста. Студенты на последних курсах проходят практику, а в советский период выпускники в обязательном порядке получали профильное распределение. То есть обязательно присутствует некий период перехода из этапа обучения в этап ответственной деятельности. В случае же запуска ЦОДа в эксплуатацию таким переходным периодом является опытная эксплуатация комплекса инженерных систем, и игнорировать ее – серь­езная ошибка. Опытную эксплуатацию проводят с целью определения фактических значений количественных и качественных характеристик комплекса дата-центра, фактической эффективности инженерных систем и готовности персонала к обслуживанию ЦОДа. Помимо этого опытная эксплуатация должна выявить возможные сбои, отказы и качество выполненной наладки, как отдельных элементов инженерных систем, так и комплекса в целом. Не менее важно, что на этом этапе закладывается основа внутренних регламентов и правил эксплуатации инженерных систем ЦОДа, инструкций по реагированию в случае возникновения аварийных ситуаций и других документов.

* * *

Мы рассказали о тех ошибках, которые совершали, обнаруживали и устраняли сами или вместе со смежными подрядными и монтажными организациями. Читателям же предлагаем учиться на наших ошибках.