Что нужно учитывать при проектировании электроснабжения цод

Требования к энергоснабжению зависят от желаемого уровня эксплуатационной готовности и могут включать наличие двух или более линий электропитания от сети, наличие ИБП, автономного генератора и множественных электрических цепей, ведущих к системам и оборудованию.

Для определения требований к энергоснабжению необходимо тщательное перспективное планирование. Оценка энергетических потребностей предполагает определение количества энергии, необходимой для всех имеющихся устройств и устройств, установка которых планируется в будущем.

Оценка энергетических потребностей должна также учитывать потребности всего вспомогательного оборудования наподобие ИБП, генераторов, электронных преобразователей, устройств отопления, вентиляции и кондиционирования воздуха, освещения и т.п.

Оценка потребностей в энергоснабжении должна делаться с учетом требуемой избыточности и будущего роста.

Системы энергоснабжения в ЦОД реализуются как системы с бесперебойным, гарантированным и бесперебойным гарантированным электроснабжением. Последние применяются, когда необходимо обеспечить длительную автономную работу: в случае отключения основных источников электроснабжения оборудование питается от аварийных генераторов и ИБП.

Внедрение ИБП помогает не только избежать перебоев в работе ЦОД, но и уменьшить число отказов оборудования за счет повышения качества электропитания.

Для повышения надежности ИБП с двойным преобразованием применяется статический байпас (резервирующий инвертор) и другие конструктивные решения — дублированные блоки питания для электроники ИБП, разделение и дублирование систем управления инвертором, выпрямителем и статическим байпасом

Однако в случае возникновения проблем с электропитанием необходимую го-товность могут обеспечить только генераторы электрического тока.
Примеры систем бесперебойного питания:

APC Symmetra имеют модульную структуру и обеспечивают резервирование электропитания, на случай выхода из строя одного из модулей. Данная серия UPS наиболее часто используется при построении ЦОД.

Решения, построенные на базе APC Symmetra, позволяют обеспечить работоспособность электропитания при выходе из строя одного или более узлов системы ИБП. Резервируются следующие модули: силовые, управляющие, батарейные и модули блока байпаса.

Модульная структура позволяет масштабировать инфраструктуру ИБП с минимальными затратами. APC Symmetra входят в решения ЦОД APC InfraStruXure. Существует несколько серий семейства Symmetra.

При построении средних ЦОД применяется в основном серия Symmetra PX, обеспечивающая мощность от 10 КВА до 160 КВА. А для крупнейших ЦОД и вычислительных центров применяется APC Symmetra MW, обеспечивающие мощность до 1,6 МВА (1,6 Мегаватт).

APC-MGE Galaxy – это высокопроизводительные и мощные UPS, которые могут применяются при построении крупных ЦОД и промышленности. MGE Galaxy поддерживают стекируемые конфигурации, поддерживают так же, как и Symmetra поддерживают резервирование узлов, и помимо всего прочего поддерживают резервирование целых сетей.

При помощи MGE Galaxy один ЦОД может быть подключен к нескольким энергосетям (нескольким подстанциям), и при падении электроэнергии в одной сети автоматически переключится на резервную сеть.

Также MGE Galaxy поддерживают подключение управляемых дизельных генераторов, которые могут быть запущены при падении электричества во всех сетях и при значительной разрядке аккумуляторов ИБП. MGE Galaxy обеспечивают максимальную мощность в 225 KVA.

Для больших нагрузок ёмкость батареи расходуется очень быстро, обеспечивая небольшое время резерва (или же надо брать батареи очень большой ёмкости).

В результате, для того, чтобы обеспечить питание такой нагрузки хотя бы в течение суток, вам понадобится использовать систему из целого зала аккумуляторов… И вопрос восстановления их ёмкости после разряда – ну очень не простой. Стоимость такого решения будет тоже не малой.

С другой стороны, дизельный генератор мощностью в 100-500 kVA обойдется в гораздо меньшие деньги… Таким образом, уже на этапе организации системы бесперебойного электропитания в вашем бизнесе, вы экономите значительные средства, используя дизельные генераторы в совокупности с аккумуляторными шкафами.

Дизель-генераторы можно использовать и в качестве резервных (аварийных) источников питания в тех организациях, где требуется постоянное бесперебойное электроснабжение, не зависящее от перепадов в центральной электросети. В этом случае дизель-генераторы работают во время отключения или провалов напряжения в основной сети.

А если учесть, что при разумном использовании ДГУ могут прослужить до 10 и более лет (зависит от правильно организованного сервисного обслуживания и условий эксплуатации), а аккумуляторные батареи выходят из строя через несколько лет, разница становится совсем астрономической. Поэтому, для решения задачи длительного гарантированного электропитания, выбор в пользу дизельных генераторов очевиден.

В итоге использование одного дизельного генератора для того или иного участка инфраструктуры требует установки целого комплекса обеспечивающей аппаратуры, прокладки дополнительных коммуникаций, проведения специальных инженерных работ по шумоизоляции и устранению вибрации, и является достаточно непростой задачей, которая требует отдельного квалифицированного подхода.
Преимущества используемых электростанций:

Низкошумное исполнение оборудование для эксплуатации в жилых кварталах.
Наличие контейнера для транспортировки и работы в любых погодных условиях.
Промышленные двигатели отечественного и зарубежного производства для тяжелых условий работы (моторесурс 40 000 часов).
Наличие различного дополнительного оборудования: кабель, системы автоматической перекачки топлива из резервного бака в основной, дополнительные топливные ёмкости, подогреватели, охранная и пожарная сигнализации.

Уровни надежности ЦОД:

Уровень 1 — базовый: коэффициент постоянной готовности 99,671%

Дата-центр подвержен нарушениям нормального хода работы, как от плановых, так и от внеплановых действий;
Он имеет лишь один путь (канал) распределения электропитания и охлаждения без резервированных (избыточных) компонентов (N);
Может иметь или не иметь фальшпол, ИБП или генератор;
Развертывается за 3 месяца;
Годовое время простоя — 28,8 часов;
Центр должен полностью останавливаться для выполнения работ по планово-предупредительному обслуживанию и профилактическому ремонту.

Уровень 2 — дата-центр с резервированием (с избыточными компонента-ми): коэффициент постоянной готовности 99,741%

Менее подвержен нарушениям нормального хода работы, как от плановых, так и от внеплановых действий;
Имеет один путь (канал) распределения электропитания и охлаждения, но с резервированными компонентами (N+1);
Имеет фальшпол, ИБП и генератор
Время развертывания — от 3 до 6 месяцев
Годовое время простоя — 22,0 часов
Техническое обслуживание и ремонт канала электропитания и других частей инфраструктуры объекта требует остановки процесса обработки данных.

Уровень 3 — дата-центр с возможностью параллельного проведения ре-монтно-профилактических работ: коэффициент постоянной готовности 99,982%

Допускает плановую деятельность без нарушения нормального хода работы оборудования машинного зала, однако внеплановые события все же могут привести к нарушению его работы;
Имеет несколько путей (каналов) для распределения электропитания и охлаждения, но лишь один из них активен; имеет резервированные компоненты (N+1);
Время развертывания — от 15 до 20 месяцев;
Годовое время простоя — 1,6 часов;
Имеет достаточно мощности и распределительных возможностей для того, чтобы при загруженности одного пути (канала) можно было одновременно осуществлять обслуживание или тестирование другого пути.

Уровень 4 — отказоустойчивый дата-центр: коэффициент постоянной готовности 99,995%

Плановые действия не нарушают критически важной нагрузки, причем дата-центр способен справиться, по крайней мере, с одним неплановым инцидентом наихудшего свойства без последствий для критически важной нагрузки;
Имеет несколько активных путей распределения нагрузки и охлаждения с резервными компонентами (2 (N+1), т.е. 2 ИБП с избыточностью N+1 каждый);
Время развертывания — от 15 до 20 месяцев
Годовое время простоя — 0,4 часа

Мы вам можем предложить полную энерго-инфраструктуру для вашего ЦОД начиная от электрического входа в помещение/здание и заканчивая входным блоком питания любого вашего оборудования.

С заданной вами степенью отказоустойчивости будут решены следующие задачи:

электропитание;
распределение питания;
размещение оборудования;
управление и контроль;
сервис.

Особенно критичной для любой телекоммуникационной компании или банка является отказоустойчивость всего оборудования — серверная не имеет право останавливаться, любой сбой грозит прямыми убытками для компании.

Обзор инженерных систем ЦОД: Электроснабжение ЦОД: Проектные решения ЦОД и их влияние на инфраструктуру системы электропитания

25 августа 2014 г. | Категория: Электроснабжение ЦОД, Дизель-генераторные установки (ДГУ)

При проектировании корпоративного дата-центра его владельцы, архитекторы и инженеры должны сформировать четкое понимание и прийти к консенсусу по поводу всех элементов проекта: от площадки для застройки до сигнализационных панелей внутри объекта. Причем одни из наиболее важных решений касаются инфраструктуры распределения электроэнергии, которая должна создаваться в соответствии с потребностями будущего ЦОД.

В этом докладе рассматриваются три ключевых фактора, которые следует учитывать при определении ключевых параметров инфраструктура распределения электроэнергии: размер системы, выбранная архитектура надежности и сложность эксплуатации с точки зрения процесса передачи электроэнергии критически важным нагрузкам. После того как команда специалистов определится с этими факторами, в их распоряжении появится база для дальнейшего проектирования и развертывания комплексной и интегрированной системы распределения электропитания.

Фактор номер один: размер инфраструктуры распределения электроэнергии

Это может показаться невероятным, но создаваемая IT-оборудованием внутри дата-центра тепловая энергия является критически важным компонентом при определении параметров инфраструктуры системы электропитания для всего объекта.

(Как правило, это оборудование находится в комнате с фальшполом, необходимым для распределения воздушных потоков, хотя в некоторых дата-центрах имеются машзалы без фальшпола; при подготовке данного доклада термин «машзал» приравнен к термину «помещение с фальшполом», но представленные ниже рассуждения и формулы справедливы для ЦОД всех типов: как с фальшполом, так и без него) . Поскольку технологическое оборудование и механическая инфраструктура, необходимая для его охлаждения, являются крупнейшими потребителями электроэнергии в здании, их максимальное энергопотребление определяет потребности ЦОД в электричестве.

Расчет потребления электроэнергии технологическим оборудованием

Специалисты по управлению зданием дата-центра традиционно использовали показатель «ватт на «квадрат»» (квадратный фут или метр) площади при описании тепловой нагрузки оборудования в помещении с фальшполом.

Однако в последнее время некоторые руководители начали использовать показатель «киловатт на стойку». В любом случае, для того чтобы рассчитать полезную электрическую нагрузку, нужно перевести эти цифры в ватты.

Оба метода описаны и проиллюстрированы ниже.

Метод 1 — тепловая нагрузка фальшпола X площадь помещения с фальшполом
После того, как размер помещения с фальшполом, где технологическое оборудование будет находиться, был определен, нужно произвести простой расчет, сводящийся к умножению количества ватт на квадратный фут (или ватт на квадратный метр) на общее количество квадратных футов (или метров ) в помещение с фальшполом, чтобы определить мощность в ваттах, необходимую для поддержки технологического оборудования.
Пример

Тепловая нагрузка фальшпола	150 ватт на квадратный фут (Вт/фт²)
Помещение с фальшполом	x 48,000 квадратных футов (всего)
Потребление электроэнергии	7,200,000 ватт = 7,200 кВт = 7.2 МВт

Аналогичный пример для метрических единиц

Тепловая нагрузка фальшпола	1,500 ватт на квадратный метр (Вт/м²)
Помещение с фальшполом	x 4,500 квадратных метров (всего)
Потребление электроэнергии	6,750,000 ватт = 6,750 кВт = 6.8 МВт

Метод 2 — тепловая нагрузка монтажной стойки X общее количество стоек, рассредоточенных по помещению с фальшполом

Расчет показателя «ватт-на-стойку» в некотором роде не зависит от площади. Он сосредоточен на тепле, выделяемом каждой стойкой или шкафом и представляемом значением показателя «киловатт-на-стойку».

Этот подход требует определения количества монтажных стоек, которые будут размещены в помещении с фальшполом, когда дата-центр будет использоваться на полную мощность. (Полученное значение позволит определиться размер помещения с фальшполом, после того как будут определены размеры рядов и коридоров.

) Умножая показатель «киловатт-на-стойку» на количество стоек, можно получить предоставление об уровне энергопотребления технологического оборудования в помещении с фальшполом, как и в случае с методом номер один.

Пример

Тепловая нагрузка монтажной стойки	12 киловатт на стойку (кВт/стойку)
Количество стоек в помещении с фальшполом	x 600 общее количество стоек
Потребление электроэнергии	7,200 кВт = 7.2 МВт

Расчет энергопотребления ЦОД

После того как нагрузка в киловаттах со стороны оборудования в помещении с фальшполом будет определена, можно использовать эмпирическое правило и удвоить полученную цифру, чтобы выйти на приблизительную максимальную рабочую нагрузку для оценки потребления электроэнергии всего дата-центра. В случае представленных ранее примеров, приблизительная рабочая нагрузка всего дата-центра будет 2 х 7,2 МВт или 14.4 МВт. Это правило предполагает, что механические системы, которые охлаждают технологическое оборудование (например, чиллеры, насосы, блоки кондиционеров CRAC / CRAH), потребляют примерно такое же количество электроэнергии, что и само технологическое оборудование в помещение с фальшполом. На долю этих двух нагрузок приходится более 95% от общего количества электроэнергии, потребляемой среднестатистическим создаваемым «с нуля» центром обработки данных.

Фактор номер два: архитектура надежности

Второе ключевое решение касается архитектуры надежности.

В середине 1990-х организация Uptime Institute™ опубликовала первую версию своего доклада «Классификации Tier для определения производительности инфраструктуры ЦОД» (Tier Classifications Define Site Infrastructure Performance). Этот документ регулярно обновляется.

Он послужил источником руководящих принципов при проектировании надежной инфраструктуры в случае многих дата-центров. При этом метрика Tier также широко используется для сравнения надежности инфраструктуры различных дата-центров.

Документ устанавливает четыре уровня надежности (Tier I — IV), связанные с инфраструктурой дата-центра. Объект с минимальной (или базовой) инфраструктурой, необходимой для поддержки дата-центра, будет иметь уровень Tier I. Тогда как дата-центр с отказоустойчивой архитектурой и двойным резервированием инфраструктуры будет иметь уровень Tier IV.

С каждым последующим уровнем Tier надежность инфраструктуры ЦОД увеличивается. Иными словами, средняя продолжительность даунтайма уменьшается при последовательном переходе от уровня I до IV.

Данная метрика является отнюдь не единственным способом оценки надежности архитектуры дата-центра, но этот способ стал общепринятым при определении требуемых характеристик инфраструктуры.

После того, как архитектура надежности дата-центр выбрана, можно будет с большей точностью определить некоторые характеристики электроэнергетической инфраструктуры.

Например, если выбирается архитектура надежности, соответствующая требованиям Tier II, некоторые элементы электроэнергетической системы будут иметь резервные блоки, то есть конфигурацию N+1. См. рисунок 1.

Соответственно, владельцам ЦОД, которому необходим один генератор на 2000 кВт для поддержки базовой электрической нагрузки, будет необходимо приобрести и установить два генератора на 2000 кВт. Второй генератор будет представлять собой резервный блок.

Продолжим рассматривать пример. Подобное решение при выборе архитектуры надежности также привело бы к повышению расходов на инфраструктуру системы электропитания.

Вместо использования выключателя для перевода на другую цепь без разрыва питания (переключатель без разрыва тока), чтобы интегрировать генератор, скорее всего, придется использовать распределительные устройства для включения на параллельную работу с целью интеграции обоих генераторов в электроэнергетическую инфраструктуру.

Капитальные расходы возрастают пропорционально уровню надежности. В целом при проектировании все более надежного ЦОД (т.е.

для удовлетворения требований все более высоких уровней Tier), будет необходимо все больше инфраструктурного оборудования.

Необходимость в дополнительном оборудовании означает большие начальные затраты, связанные со строительством дата-центра, а также большие затраты на техподдержку этого оборудования.

Выбор рабочего напряжения электроэнергетической инфраструктуры также будет влиять на архитектуру электроэнергетической системы и первоначальную стоимость объекта.

Однако воздействие стоимости оборудования может варьироваться в довольно широких пределах, и нет какого-либо эмпирического правила, касающейся взаимосвязи между рабочим напряжением и первоначальной стоимостью оборудования.

Если рабочее напряжение является переменной при проектировании электроэнергетической инфраструктуры, рекомендуется проводить сравнение стоимости проектов при различных рабочих напряжениях, для того чтобы принять наиболее обоснованное решение о том, какой вариант лучше для дата-центра.

Рисунок 1 — Пример топологии Tier II с избыточными компонентами и одиночными каналами распределения электроэнергии (без резервирования).

Фактор номер три: сложность эксплуатации

Третьим фактором, который влияет на проектирование инфраструктуры системы электропитания, является сложность эксплуатации системы.

Если делается выбор в пользу высокого уровня Tier, этот выбор отражается на других решениях, такие как решение о необходимости развертывания распределительных устройств для включения на параллельную работу и других автоматически регулируемых устройств в рамках архитектуры электроэнергетической системы.

В результате повышается сложность последовательности операций — автоматически инициируемая программа определения направлений передачи электричества в рамках электрораспределительного оборудования, позволяющая реагировать на изменения в нормальных условиях эксплуатации (вроде прекращения подачи электричества из центральной сети).

Эта последовательность операций позволяет реализовать перевод критической нагрузки на резервные электрические межсоединения системы распределения электроэнергии. Эти межсоединения удерживают ЦОД в рабочем состоянии в случае потенциально критически опасной ситуации вроде перебоев в подаче электроэнергии.

Есть много опций, выбор которых может повлиять на сложность эксплуатации: от простых конструкций со всего двумя электросоединениями, до сложных конструкций, которые контролируют множество резервных электросоединений.

После принятия решения по поводу уровня архитектуры надежности, диапазон выбора сужается, но все еще остается целый ряд вариантов.

Часто используемые проекты архитектуры электроэнергетической системы можно назвать одним из способов упрощения перебора вариантов, связанных со сложностью эксплуатации.

Тот, который наилучшим образом соответствует потребностям конкретной конструкции дата-центра, будет определен благодаря решениям, принятым ранее в процессе изучения основных факторов, как отмечалось выше.

Эти конфигурации архитектуры электроэнергетической системы широко известны, как разделённые изолированные шины, пары многоступенчатого переноса нагрузки и так далее. См. Рисунок 2.

Стандартные блоки управления — блоки управления включением на параллельную работу, блоки контроля электропередачи и управления системой — обычно интегрированы в более крупные системы распределения электроэнергии по дата-центру, которые могут включать дополнительные надстройку для контроля в форме системы SCADA.

Стандартные архитектуры имеют преимущества перед разработанными по специальному заказу.

Наиболее значимым преимуществом является то, что процедуры программирования, связанные со стандартной последовательностью операций, ранее уже многократно использовались при развертывании архитектур электроэнергетической системы подобного типа.

Соответствующая последовательность действий подверглась проверке времени: многочасовая работа соответствующих систем позволила выявить все основные проблемы программного обеспечения, которые могут вызвать нестабильность при эксплуатации.

Иными словами, стандартные архитектуры электроэнергетической системы можно считать более надежным, чем разработанные по специальному заказу, так как программные продукты, связанные с последовательностью работы, является более стабильными благодаря проверке временем.

Взаимозаменяемость выступает еще одним преимуществом, связанным со стандартными архитектурами электроэнергетической системы. Большинство компонентов, предусмотренных проектом электроэнергетической системы, будут относиться к категории «под ключ», если они используются в стандартном исполнении.

Если возникнет необходимость в замене какого-либо компонента по той или иной причине, он сможет быть легко куплен и легко интегрирован в инфраструктуру системы электропитания, снижая риск потенциального простоя.

Неспособность легко заменить проблемные компоненты является одним из основных факторов, которые влияют на работоспособность оборудования.

Кроме того, разработанные по специальному заказу и сложные с эксплуатационной точки зрения системы могут стать причиной некоторых менее очевидных дополнительных расходов.

Из-за сложности возрастают расходы на аппаратное обеспечение в связи с природой создаваемого по спецзаказу продукта, но сложность также добавляет затраты, связанные с проверкой пригодности для эксплуатации и расходами на обслуживание в долгосрочной перспективе.

Эти аспекты также должны быть приняты во внимание при принятии решения по поводу уровня сложности системы распределения электроэнергии.

Рисунок 2. Пример широко используемой конфигурации включения на параллельную работу для дата-центров с парами многоступенчатого переноса нагрузки.

Системы электропитания ЦОД

* Работаем только с юридическими лицами

Схема 1. Проект построения системы электропитания ЦОД. Выполнено ИЦ Телеком-Сервис вис Основу систем электроснабжения ЦОДов составляют системы основного и резервного электропитания, которые обеспечивают бесперебойное питание рабочих элементов центра обработки данных. Без систем бесперебойного и аварийного электроснабжения не могут нормально функционировать отдельные подразделения дата-центра и весь комплекс в целом.

Поэтому при проектировании инженерных систем ЦОД важной задачей является экономия электроэнергетических ресурсов.

Распределение показателей энергопотребления по отдельным системам ЦОД

системы вентиляции и кондиционирования, включая чиллеры, прецизионные кондиционеры -50 %
компьютеры и серверные стойки — 36 %
источники бесперебойного питания (ИБП) — 11 %
лампы технологического освещения и световые датчики пожарной сигнализации — 3 %.

Системы электроснабжения могут функционировать в качестве самостоятельных блоков и в составе единой инженерной инфраструктуры центра обработки данных.

При расчете оптимальной емкости будущей системы электропитания и энергоснабжения ЦОД учитывается необходимое количество секций и блоков системы электропитания, общее количество устройств и оборудования.

Системы аварийного и резервного питания дата-центра

Дата-центр – огромный комплекс, состоящий из нескольких подсистем с единым управлением. Полную готовность вычислительных систем ЦОД и высокую отказоустойчивость 24 часа в сутки можно обеспечить введением систем аварийного энергоснабжения.

Для исключения сбоев в подаче электроэнергии и повышения надежности ЦОД производят дублирование основных серверов, оборудования и основных ИБП.
Резервная система электропитания включается в критических аварийных ситуациях и при плановом останове оборудования для проведения технического осмотра.
Расчет мощности основной и резервной системы энергопитания
Уровень рабочей мощности систем электропитания дата-центра закладывается на этапе предварительной оценки состояния электрической кабельной системы и питающих линий здания, электрических стояков электрощитовых и кроссовых помещений.

Дизель-генераторная установка (ДГУ) является основным элементом системы резервного электропитания. Резервный дизель-генератор быстро запускается в автоматическом режиме при отключении внешнего электропитания сети.

Очень важно правильно рассчитывать мощность ДГУ, чтобы Ваш дата-центр функционировал нормально, без сбоев.

Мощность дизель — генератора рассчитывается на основе величин максимального энергопотребления уже установленных серверов, систем обслуживания и систем кондиционирования ЦОД.

Для корректного расчета показателя мощности серверных и периферийных систем необходимо учитывать уровень потребления дополнительных источников электропитания ЦОД.

Типы дизель — генераторов для центров обработки данных

ДГУ с воздушной системой охлаждения двигателя относится к наименее мощным системам. Такое устройство можно рекомендовать для построения резервного электроснабжения.

В ЦОДах рекомендуется устанавливать более мощные дизели с жидкостным охлаждением. Дизель — генераторы с жидкостным охлаждением гарантированно обеспечивает высокий уровень мощности и хороший уровень шумопонижения. Устройство представляет собой единый агрегат на стальной раме. В состав которого входит двигатель и генератор переменного тока.

Ключевые свойства дизель- генераторов с жидкостным охлаждением: высокая мощность и высокая надежность. Все это в совокупности с длительной многолетней гарантией от производителей позволяет использовать дизель генераторы данного типа в крупных распределенных ЦОДах.

ДГУ с жидкостным охлаждением представлены в продуктовых линейках производителей Cummins, Perkins и Volvo-Penta.
За дополнительной информацией обращайтесь к менеджерам по телефону (495) 737-42-22 или пишите.