Насосы GRUNDFOS в системе охлаждения дата-центра

На примере ЦОДа «Компрессор» компании КРОК

Сегодня средний и крупный бизнес всё чаще аккумулирует вычислительные ресурсы в специализированных центрах обработки данных (ЦОД). Такое решение обеспечивает высокий уровень безопасности и надёжности IT-структуры предприятия. ЦОД выполняет функции обработки, хранения и распространения информации. Клиент арендует в дата-центре пространство (так называемые стойки) для размещения своего серверного и сетевого оборудования и может быть уверен в его непрерывной и качественной работе.

Главная задача ЦОДа – функционировать без сбоев, и в этом вопросе на первое место выходит надёжность инженерной инфраструктуры, в частности, систем электроснабжения и охлаждения. Примером грамотного подхода к подбору оборудования для указанных систем и выстраиванию процессов их эксплуатации является ЦОД «Компрессор», принадлежащий компании КРОК, одному из крупнейших отечественных системных интеграторов. В 2015 году дата-центр получил заключительный сертификат Uptime Institute  уровня надёжности Tier III по операционной устойчивости (Operational Sustainability) в дополнение к сертификатам на проект ЦОДа (Tier Certification of Design Document) и уже построенный объект (Tier Certification of Constructed Facility):

• Сертификация Tier Certification of Design Documents обеспечивает углубленный анализ 100 % пакета проектной документации;
• Сертификация Tier Certification of Constructed Facility является проверкой установленной инфраструктуры, которая проводится непосредственно на объекте;
• Стандарт Tier Certification of Operational Sustainability оценивает наличие и эффективность управления и эксплуатации.

Общая информация об объекте

Построенный в 2011 году дата-центр КРОК «Компрессор» занимает 5000 кв. м. Под ЦОД был реконструирован один из бывших складов одноимённого завода, расположенного в промышленной зоне Восточного округа Москвы. Объект оснащён самыми современными инженерными системами разного назначения. В здании находятся 4 машинных зала, которые позволяют разместить до 800 стоек электрической мощностью по 6 кВт каждая. Общая мощность электроснабжения центра обработки данных составляет 8 МВт, полезная мощность – 4,5 МВт. Заказчикам предоставляется широкий ассортимент аутсорсинговых услуг, в том числе размещение оборудования, «резервный ЦОД», обслуживание всех ИТ-систем и т. д.

«Спустя несколько лет после строительства дата-центр КРОК «Компрессор» получил сертификат Uptime Institute уровня Tier III Operational Sustainability, подтверждающий высокую эксплуатационную устойчивость объекта. Проектирование площадки, её возведение и выполнены специалистами нашей компании, эксплуатацией объекта также занимается соответствующая служба в КРОК. И на сегодняшний день КРОК является единственным системным интегратором, владеющим ЦОД, который имеет все три сертификата от Uptime Institute», – рассказывает Павел Колмычек, руководитель сети дата-центров компании КРОК.

ЦОД КРОК «Компрессор» может обеспечивать надёжность и бесперебойность всех систем 24 часа в сутки и 365 дней в году в соответствии с мировыми стандартами. С момента открытия центр работает без единого простоя уже более 1600 дней.
 
В рамках сертификации ЦОД на соответствие уровню Tier III оценивались такие показатели, как надёжность здания, электроснабжения и инженерных систем.

Система электроснабжения

Специально для дата-центра была построена собственная распределительная трансформаторная подстанция. К ней от ближайшей ТЭЦ подходят две независимые линии электропитания. Оборудование подстанции имеет двойное резервирование. Элементы системы собраны в России из комплектующих производства Schneider Electric, Rittal и ABB. Особенностью распределительной системы является мониторинг параметров электроэнергии.

В качестве автономного источника электроэнергии используется собственная дизель-электрическая станция, которая состоит из семи ДГУ FG Wilson P2000 мощностью по 2 МВА каждая. Дизели работают по схеме резервирования N+1.
 
Система централизованного бесперебойного электропитания построена на базе статических источников бесперебойного питания (ИБП) модели GT-SG Series 300 кВА PurePulse S2 производства General Electric Digital Energy. Все источники установлены в отдельном зале и питаются от аккумуляторных батарей, расположенных в соседнем помещении с оптимальным температурным режимом. Время автономной работы систем бесперебойного электроснабжения (от аккумуляторных батарей) – 15 минут. Всего в дата-центре установлено 38 источников бесперебойного питания общей электрической мощностью 11 400 кВА.
 
Система кондиционирования

Статистика, приведённая изданием «ЦОДы.РФ» , показывает что до 50% причин отказа вызваны неполадками в системах кондиционирования. Именно поэтому крайне важно грамотно подобрать схему охлаждения и установить на объекте качественное оборудование с высоким ресурсом, способное выдержать долговременные большие нагрузки.

Кондиционирование ЦОД КРОК «Компрессор» осуществляется по двухконтурной схеме с жидкостным охлаждением. В качестве теплоносителя внешнего контура используется водный раствор этиленгликоля, во внутреннем контуре циркулирует вода. Такая схема позволяет исключить замерзание теплоносителя, идущего по трубам снаружи здания, при отрицательных температурах и вместе с тем уменьшает зону использования потенциально опасных веществ. За перекачивание раствора этиленгликоля и воды в системе отвечают 8 насосов GRUNDFOS серии NB мощностью 75 кВт каждый. «Оборудование выбиралось по нескольким критериям. В первую очередь мы обращали внимание на высокое качество и долгий срок службы, ведь работа системы охлаждения в ЦОДах жизненно важна, недопустимы даже малейшие перебои и неполадки. Кроме того, мы старались использовать самые энергоэффективные решения, – комментирует Пётр Вашкевич, главный инженер компании КРОК. – Со времени ввода объекта в эксплуатацию в 2011 году никаких трудностей в обслуживании не возникало, установки работают надёжно».

Действительно, консольно-моноблочные насосы GRUNDFOS серии NB – многопрофильное оборудование, разработанное специально для условий, требующих надёжной и энергоэффективной работы. Они имеют оптимизированные энергетические характеристики и соответствуют европейским нормам в отношении продукции, потребляющей электроэнергию (EuP). Электродвигатели оборудования NB соответствуют классу энергоэффективности IE3, коэффициент полезного действия насосов достигает 88%.
Проточные части насосов типа NB имеют специальное покрытие из коррозионно-устойчивого материала, а уплотнение вала имеет сочетание материалов карбид кремния/карбид кремния, которое в наибольшей степени подходит для работы с раствором этиленгликоля, так как устойчиво к воздействию абразивных частиц. Стоит отдельно отметить, что оборудование сконструировано с учётом максимального удобства в процессе эксплуатации: рабочее колесо и электродвигатель демонтируются единым блоком без демонтажа проточной части или трубной обвязки. Поэтому даже самые большие насосы достаточно просты в обслуживании.

«Ещё одним преимуществом моделей серии NB, установленных в ЦОД КРОК «Компрессор», является российское производство: они выпускаются на заводе «ГРУНДФОС Истра» в Подмосковье. Это позволяет минимизировать временные и финансовые затраты на логистику. При необходимости всегда можно вовремя доставить комплектующие или запасные части. Хотя в случае с насосами NB они вряд ли потребуются, ведь оборудование само по себе очень надёжно, а на нашем заводе к тому же действует принцип «ноль дефектов», – поясняет Роман Марихбейн, руководитель по развитию бизнеса Департамента промышленного оборудования ООО «ГРУНДФОС». – Качество выпускаемых изделий контролируется на всех этапах: от разработки насосов и систем и закупки комплектующих до производства и поставок на объект. Сборочные линии оснащены самым современным оборудованием, а готовые насосы проходят испытания на стендах, изготовленных в Дании».

В машинных залах ЦОДа «Компрессор» реализована прецизионная схема кондиционирования на базе промышленного оборудования немецкой компании Stulz.  Источниками холода в системе при работе в тёплый период года и межсезонье являются чиллеры, а в зимний – драйкулеры. Совместной работой всех элементов управляет автоматика. Архитектура системы кондиционирования дата-центра позволяет проводить обслуживание или ремонт любого элемента без остановки всего оборудования и снижения рабочей мощности.

Немаловажно, что значения температуры в машинных залах может проконтролировать абсолютно любой пользователь – все параметры работы центра обработки данных «Компрессор» представлены на сайте компании КРОК.

Рис. 1. Технологические параметры ЦОДа КРОК «Компрессор» (пример)

Непрерывный мониторинг – обязательное условие для дата-центра

Всё критичное инженерное оборудование контролируется дежурной сменой из диспетчерского пункта. В том числе контролируют следующие системы:

• холодоснабжения: насосные группы, чиллеры, фанкойлы;
• распределительная трансформаторная подстанция;
• распределительные электрощиты;
• гарантированное электроснабжение;
• бесперебойное электроснабжение;
• общеобменная вентиляция;
• система контроля протечек воды.

Сектор центров обработки данных в России растёт практически ежедневно. Так, по данным агентства iKS Consulting, в 2015 году объём рынка коммерческих услуг ЦОДов достиг почти 13,8 млрд рублей, что на 16% больше, чем годом ранее. В конце 2015 г. в нашей стране насчитывалось 196 площадок на 28,7 тыс. стойко-мест. Увеличению спроса на услуги ЦОД способствует принятие федерального закона №242-ФЗ, обязывающего обрабатывать и хранить персональные данные граждан на территории РФ. Так что, скорее всего, в ближайшие несколько лет в нашей стране появятся новые центры. При их строительстве будет крайне полезен опыт, накопленный передовыми системными интеграторами.