МИНИСТЕРСТВО СТРОИТЕЛЬСТВА
И ЖИЛИЩНО-КОММУНАЛЬНОГО ХОЗЯЙСТВА
РОССИЙСКОЙ ФЕДЕРАЦИИ

ФЕДЕРАЛЬНОЕ АВТОНОМНОЕ УЧРЕЖДЕНИЕ
«ФЕДЕРАЛЬНЫЙ ЦЕНТР НОРМИРОВАНИЯ,
СТАНДАРТИЗАЦИИ И ТЕХНИЧЕСКОЙ ОЦЕНКИ
СООТВЕТСТВИЯ В СТРОИТЕЛЬСТВЕ»

Методические рекомендации
по проектированию центров обработки данных

Москва 2019

Предисловие

Сведения о методических рекомендациях

1 ИСПОЛНИТЕЛЬ - Некоммерческое партнерство «Инженеры по отоплению, вентиляции, кондиционированию воздуха, теплоснабжению и строительной теплофизике» (НП «АВОК»)

2 ВВЕДЕНО ВПЕРВЫЕ

Содержание

Введение

Методические рекомендации разработаны в развитие положений СП 60.13330.2016 «СНиП 41-01-2003 Отопление, вентиляция и кондиционирование воздуха» и СП 118.13330.2012 «СНиП 31-06-2009 Общественные здания и сооружения» для реализации проектировщиками требований нормативных документов и выполнения более рационального проектирования ЦОД с повышенной энергоэффективностью и пониженной строительной стоимостью, с учетом положений зарубежных стандартов американского общества инженеров по отоплению, охлаждению и кондиционированию воздуха (ASHRAE) в области классификации ЦОД и использования испарительного охлаждения в них.

Инфраструктура цифровой экономики состоит из крупных, средних и малых ЦОД: от ЦОД федерального уровня мощностью 0,2 - 50 МВт до ЦОД на 5 - 20 кВт, для системообразующих учреждений и организаций, таких как школы и колледжи; поликлиники и больницы; музеи и архивы; региональные и муниципальные органы государственного управления; суды, прокуратуры, отделы МВД и другие учреждения.

ЦОД малой мощности на 5 - 120 кВт востребованы с развитием технологий граничных вычислений, когда 70 % - 90 % цифровой информации обрабатывается и хранится в локальном ЦОД объекта, а 10 % - 30 % - уходит в «облачное» хранилище.

Объединяя большие и малые ЦОД страны в национальную сетевую структуру, общество получает ряд новых возможностей от ее работы.

Настоящие методические рекомендации предназначены для применения широким кругом специалистов, чья деятельность связана с проектированием и научными исследованиями в области строительства зданий и сооружений.

Применение настоящих методических рекомендаций позволяет повысить качество выполняемых проектных работ и самого будущего ЦОД, сократить сроки и снизить строительную стоимость за счет использования типовых модульных практических подходов к выполнению работ на основе унифицированных методик и технологий.

Методические рекомендации могут использоваться для проведения независимых экспертных оценок выполненных работ, что обеспечивает снижение рисков возникновения аварийных ситуаций и повышение надежности эксплуатации центров обработки данных.

Методические рекомендации разработаны авторским коллективом НП «АВОК» (д-р техн. наук С.И. Бурцев - ответственный исполнитель, д-р техн. наук Ю.А. Табунщиков, В.С. Бурцева, С.А. Гастев, С.В. Миронова, Ю.А. Третьякова).

МЕТОДИЧЕСКИЕ РЕКОМЕНДАЦИИ

МЕТОДИЧЕСКИЕ РЕКОМЕНДАЦИИ ПО ПРОЕКТИРОВАНИЮ ЦЕНТРОВ ОБРАБОТКИ ДАННЫХ

1 Область применения

1.1 В настоящих методических рекомендациях рассмотрены методы проектирования систем технологического кондиционирования воздуха серверных залов ЦОД малой мощности (мини-ЦОД), 5 - 9 кВт, а также средних и крупных ЦОД с потребляемой мощностью в десятки МВт.

1.2 Методические рекомендации распространяются на ЦОД, размещаемые в капитальных и временных сооружениях.

ЦОД по конструктивным особенностям различают как:

- капитальные сооружения - отдельностоящие, встроенные и пристроенные;

- временные сооружения - контейнерно-модульные (контейнерные), выполненные в соответствии с ГОСТ 22853, и размещаемые на грунте, на металлокаркасе над грунтом и на кровлях существующих зданий.

1.3 Выбор конструктивных особенностей ЦОД определяется на ранней стадии проектирования в зависимости от целей и требований заказчика: местонахождения площадки под строительство, объема капитальных вложений, возможности наращивания мощности ЦОД в будущем.

1.4 В настоящее время оптимальный вариант - применение модульных технических решений, позволяющих наиболее гибко масштабировать путем согласованного наращивания числа серверных стоек, мощности систем бесперебойного питания, инженерных и других систем, а также распределять соответствующим образом капитальные затраты по времени. При этом конструктивное исполнение ЦОД может быть различным.

1.5 Все технические решения, представленные в разделе 8 для ЦОД контейнерно-модульного (контейнерного) типа, могут быть применимы к любым ЦОД, перечисленным в 1.2, независимо от их конструктивных особенностей.

2 Нормативные ссылки

В настоящих методических рекомендациях использованы нормативные ссылки на следующие документы:

ГОСТ 22853-86 Здания мобильные (инвентарные). Общие технические условия

ГОСТ Р 53623-2009 Информационные технологии. Информационно-вычислительные системы. Комплекты вычислительной техники (компьютерные классы) для общеобразовательных учреждений. Характеристики качества. Технические требования

ГОСТ Р ЕН 779-2014 Фильтры очистки воздуха общего назначения. Определение эффективности фильтрации

ГОСТ Р ИСО/МЭК 30134-1-2018 Информационные технологии. Центры обработки данных. Ключевые показатели эффективности. Часть 1. Основные положения и общие требования

ГОСТ Р ИСО/МЭК 30134-2-2018 Информационные технологии. Центры обработки данных. Ключевые показатели эффективности. Часть 2. Коэффициент энергоэффективности (PUE)

СП 60.13330.2016 «СНиП 41-01-2003 Отопление, вентиляция и кондиционирование воздуха» (с изменением № 1)

СП 118.13330.2012 «СНиП 31-06-2009 Общественные здания и сооружения» (с изменениями № 1, № 2, № 3, № 4)

Примечание - При пользовании настоящими методическими рекомендациями целесообразно проверить действие ссылочных документов в информационной системе общего пользования - на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячно издаваемого информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный документ, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого документа с учетом всех внесенных в данную версию изменений. Если заменен ссылочный документ, на который дана датированная ссылка, то рекомендуется использовать версию этого документа с указанным выше годом утверждения (принятия). Если после утверждения настоящих методических рекомендаций в ссылочный документ, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный документ отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку. Сведения о действии сводов правил можно проверить в Федеральном информационном фонде технических регламентов и стандартов.

3 Термины и определения

3.1 В настоящих методических рекомендациях применены следующие термины с соответствующими определениями:

3.1.1

3.1.2 система технологического кондиционирования воздуха (processair-conditioning system): Комплекс оборудования для создания и автоматического поддержания в закрытых помещениях и средствах транспорта параметров воздушной среды (температуры, относительной влажности, чистоты, состава, скорости движения и давления воздуха), наиболее благоприятных для ведения технологических процессов, действия оборудования и приборов, обеспечения сохранности ценностей культуры и искусства и т.п.

3.1.3

3.1.4 машинный (серверный) зал (data hall): Выделенное технологическое помещение со специально созданными и поддерживаемыми условиями для размещения и функционирования серверного и телекоммуникационного оборудования.

3.1.5 серверная стойка (IT equipmen track): Металлический каркас, устанавливаемый в ЦОД, серверных залах, компьютерных комнатах и коммуникационных узлах, основное назначение которого - надежное размещение серверов форм-фактора 19".

3.1.6 холодный коридор (cold aisle): Коридор с обращенными внутрь него лицевыми сторонами серверных стоек.

Примечание - Подача охлажденного воздуха в коридор предусматривается с учетом наиболее эффективного охлаждения поверхности лицевых сторон серверных стоек.

3.1.7 горячий коридор (hot aisle): Коридор с обращенными внутрь него тыльными сторонами серверных стоек.

Примечание - Подача нагретого воздуха от оборудования, размещенного в серверных стойках, предусматривается в коридор, а затем в блок кондиционирования воздуха серверного зала.

3.1.8

3.2 В настоящих методических рекомендациях применены следующие обозначения и сокращения:

АБХМ - абсорбционная холодильная машина;

ПКХМ - парокомпрессионная холодильная машина;

СТКВ - система технологического кондиционирования воздуха;

ТЗ - техническое задание;

ТЭС - теплоэлектростанция;

ЦОД - центр обработки данных;

PUE - коэффициент энергоэффективности.

4 Общие положения

4.1 В методических рекомендациях рассмотрены особенности проектирования ЦОД для обеспечения реализации требований СП 60.13330, а также вопросы:

- повышения уровня безопасности проведения работ по проектированию, монтажу, пуску, наладке и вводу в эксплуатацию и техническому обслуживанию систем внутреннего инженерно-технического обеспечения зданий и сооружений;

- эффективности использования энергоресурсов;

- снижения уровня потерь тепла в зданиях и сооружениях и оптимизации технических решений при разработке проектов систем внутреннего инженерно-технического обеспечения зданий и сооружений.

5 Параметры воздуха центров обработки данных

5.1 Оптимальные и допустимые параметры воздуха центров обработки данных

5.1.1 Оптимальные и допустимые параметры воздуха на входе в серверное оборудование рекомендуется принимать по таблице 5.1 с учетом I-d диаграммы, приведенной на рисунке 5.1.

Рисунок 5.1 - Диаграмма I-d с диапазонами оптимальных
и допустимых параметров воздуха

Таблица 5.1 - Оптимальные и допустимые параметры воздуха ЦОД

5.1.2 Рабочий диапазон параметров воздуха в холодном коридоре ЦОД рекомендуется определять исходя из назначения и функций разрабатываемого ЦОД в соответствии с ТЗ (таблица 5.1).

5.1.3 После определения диапазона возможного изменения параметров воздуха в холодном коридоре следует принимать инженерные решения по обеспечению заданных параметров воздуха холодного коридора в круглогодичном эксплуатационном цикле с приоритетом применения энергоэффективных и экологичных инженерных решений со сниженной строительной стоимостью.

5.2 Очистка воздуха от пыли

5.2.1 Машинные (серверные) залы ЦОД предназначены для обслуживания СТКВ, основным пользователем подготовленного воздуха является серверное оборудование.

5.2.2 В серверных залах ЦОД рекомендуется применять двухступенчатую очистку воздуха от пыли. В первой ступени - фильтры грубой очистки G4, во второй - фильтры тонкой очистки F7 (классификации фильтров по ГОСТ Р ЕН 779).

5.2.3 Мероприятия по очистке воздуха необходимо намечать только после анализа источников механической пыли в воздухе ЦОД, ввиду того, что применение двухступенчатой очистки воздуха (G4 и F7) в течение всего года создает аэродинамическое сопротивление, преодолеваемое с расходом электрической мощности вентиляторов, т.е. с увеличением значения PUE и ростом финансовых затрат в СТКВ.

Рекомендуется проведение специализированных изысканий по запыленности воздуха населенного пункта, где размещается ЦОД.

5.2.4 Запыленность воздуха населенного пункта [1] должна составлять не более 1,0 мг/м³.

На рисунке 5.2, в качестве примера, приведена схема размещения автоматических станций мониторинга атмосферного воздуха АСМ-АВ в Санкт-Петербурге.

Рисунок 5.2 - Схема размещения точек контроля состояния
воздушного бассейна г. Санкт-Петербурга

Примечание - Органы экологического контроля ведут непрерывные наблюдения за состоянием воздушного бассейна: определяют уровни загрязнения атмосферного воздуха, формируют и ведут банки данных о загрязнении атмосферного воздуха, проводят подготовку и предоставление потребителям аналитической и расчетной информации о загрязнении атмосферного воздуха.

Примеры наблюдений АСМ-АВ показаны на рисунке 5.3аб.

а - данные АСМ-АВ № 19 (Волхонское ш., 116) о динамике загрязнения
атмосферного воздуха за 30 дн.;

б - данные АСМ-АВ № 14 (Уткин пр., 16) о динамике загрязнения
атмосферного воздуха за 30 дн.

Рисунок 5.3 - Данные автоматических станций мониторинга состояния
атмосферного воздуха г. Санкт-Петербурга

5.2.5 Для инструментального контроля уровня запыленности наружного воздуха и воздуха ЦОД необходимо включать в СТКВ пылемер промышленного назначения (рисунок 5.4), предназначенный для измерения концентрации пыли в газовоздушных средах.

Примечание - Для снижения затрат рекомендуется применение пылемеров отечественного производства.

Пылемер предназначен для измерения запыленности наружного воздуха и воздуха ЦОД, а СТКВ - для архивирования результатов измерений.

Рисунок 5.4 - Пылемер

5.2.6 В зависимости от периода года и климатических условий местности необходимо учитывать результаты измерений запыленности территории (выше или ниже ПДК).

5.2.7 По результатам измерения запыленности наружного воздуха ниже ПДК (преимущественно холодный и переходный периоды года) должен открываться перепускной клапан, устанавливаемый во фронтальном сечении фильтров (рисунок 5.5).

1 - корпус; 2 - фильтрующие панели; 3 - перепускной клапан

Рисунок 5.5 - Схема размещения перепускного клапана в ряду
кассеты фильтрующих панелей

5.2.8 В теплый период года, в условиях действия солнечной радиации и подъеме мелкодисперсной пыли с грунта восходящими потоками перегретого воздуха, при возрастании запыленности выше ПДК, требуется закрывать клапанные группы перепуска воздуха для направления потока воздуха через фильтрующие панели.

5.2.9 При размещении ЦОД вблизи ТЭС, особенно работающих на угле, решение проблемы запыленности наружного воздуха требует не сложных, но специальных мероприятий.

6 Компоновочные решения по серверным стойкам в машинных залах центров обработки данных

6.1 Независимо от интегральной мощности ЦОД обработка, передача и хранение данных происходят в отдельных серверах (рисунок 6.1), которые группируются в серверных стойках (рисунок 6.2), размещаемых в машинных (серверных) залах (рисунок 6.3).

Рисунок 6.1 - Внешний вид серверов

Рисунок 6.2 - Общий вид серверных стоек для размещения серверов

Рисунок 6.3 - Примеры размещения серверных стоек в машинном (серверном) зале

6.2 Сервер - единичный объект, который обслуживает круглогодично функционирующая СТКВ. В качестве единичного объекта следует применять серверную стойку (рисунок 6.4), поскольку в рамках одной серверной стойки параметры воздуха на входе условно одинаковы.

Рисунок 6.4 - Примеры серверных стоек с серверами

6.3 Для отвода теплоты от тепловыделяющих элементов в воздух серверного зала ЦОД применяют встроенные вентиляторы, автоматически управляемые сервером. Производительность вентиляторов зависит от фактической температуры воздуха внутри стойки, контролируемой датчиком сервера.

6.4 При проектировании следует предусматривать СТКВ, круглогодично обеспечивающую заданные параметры воздуха на входе в серверы, т.е. в зоне холодного коридора машинного (серверного) зала.

7 Решения по охлаждению воздуха центров обработки данных, оценка эффективности решений

Отвод теплоты, выделяемой серверами из ЦОД, в современных условиях рекомендуется осуществлять при использовании следующих систем:

- поверхностных воздухоохладителей и установок искусственного охлаждения (ПКХМ или АБХМ) - см. 7.1;

- испарительного охлаждения - см. 7.2;

- с помощью вентиляционного воздуха - см. 7.3.

7.1 Использование поверхностных воздухоохладителей и установок искусственного охлаждения (парокомпрессионных или абсорбционных)

7.1.1 Серверная стойка (тепловыделяющий объект) содержит в себе серверное оборудование суммарной мощностью 5 - 30 кВт. Внутри серверного оборудования работают вентиляторы, обдувающие радиаторы отвода теплоты от перегревающихся в процессе работы элементов (рисунок 7.1).

Рисунок 7.1 - Схема машинного (серверного) зала

7.1.2 Холодопроизводительность проектируемого воздухоохладителя должна быть достаточной для ассимиляции теплоты от серверной стойки, освещения зала, сетевых вентиляторов и тепловых притоков в зал, поступающих из смежных помещений и работающих в зале людей.

7.1.3 В машинный (серверный) зал ЦОД следует подавать наружный воздух, обеспечивая кратность воздухообмена в 0,5 ч^-1 (с учетом работы персонала ЦОД в течение продолжительного периода времени).

7.1.4 Расход охлажденного воздуха должен быть не менее расхода воздуха, перемещаемого вентиляторами серверного оборудования во избежание поступления части воздуха в зону их всасывания, т.е. в холодный коридор, что приведет к дестабилизации его температурного режима.

7.1.5 При непосредственном испарении хладагентов в воздухоохладителях необходимо контролировать температуру их кипения. Следует учитывать, что при переходе значений температуры кипения от 5 °С к 10 °С энергоемкость холодильного цикла снижается, а холодильный коэффициент растет.

На рисунке 7.2 показана схема размещения воздухоохладителя в машинном (серверном) зале. Воздухоохладитель может быть установлен как в машинном (серверном) зале, так и в кондиционере, размещенном за границами машинного (серверного) зала. Один кондиционер может обслуживать несколько машинных (серверных) залов.

t_w1 - температура холодоносителя на входе в аппарат;
t_w2 - температура холодоносителя на выходе из аппарата

Рисунок 7.2 - Схема охлаждения воздуха машинного (серверного) зала с помощью поверхностного воздухоохладителя

7.1.6 Принимая инженерное решение по устройству охлаждения ЦОД, следует учитывать оценочный расход воздуха на 1,0 кВт мощности серверов, который составляет 250 - 300 м³/ч, т.е. при мощности серверов зала, например, в 500 кВт общий расход воздуха составляет около 150 000 м³/ч. В этом случае кондиционер выходит из стандартного для изготовителей типоразмерного ряда с увеличением его стоимости, габаритов воздухораспределительных сетей, усложнением их топологии и, как следствие, возрастанием аэродинамического сопротивления сети, снижением энергоэффективности ЦОД и ростом значения PUE.

7.1.7 Следует учитывать, что фактический КПД наиболее эффективных вентиляторов с загнутыми назад лопатками, работающих на воздухораспределительную сеть, составляет не более 0,65, а не 0,75 (согласно техническим характеристикам оборудования).

Примечание - Введение аэродинамических усовершенствований для развития аэродинамического качества сетей воздуховодов потребует от разработчика специальных знаний и навыков и увеличит затраты на воздухораспределительные сети.

7.1.8 Решения по размещению воздухоохладителей в помещении ЦОД должны быть проанализированы на предпроектном этапе с учетом оценки величины энергопотребления инженерных систем ЦОД.

Пример 1 - Аспекты работы ПКХМ и АБХМ в приложении к задачам ЦОД, анализ инженерных систем с позиции экономики и экологии

Исходные данные:

В холодильную систему входит ПКХМ как составной элемент.

Фактический холодильный коэффициент установки составляет

ε0 = Q0/P0 ≈ 3,0,

(1)

где Q₀ - холодопроизводительность установки, кВт;

Р₀ - потребляемая электрическая мощность установки, кВт.

Запас по холодопроизводительности - 7 %.

Порядок расчета:

При запасе холодопроизводительности 7 % и фактическом холодильном коэффициенте ε₀ = 3,0 (формула (1)) получаем:

Q0 = 1,07QЦОД,

где Q_ЦОД - тепловыделения в ЦОД, кВт.

Потребляемая электрическая мощность установки холодильной системы (без учета сетевых вентиляторов):

Р0 = 1,07/3QЦОД = 0,356QЦОД.

Эффективность энергопотребления PUE будет равна:

PUE = (PЦОД + Р0)/PЦОД = (1 + 0,356)/1 = 1,356,

где P_ЦОД - электрическая мощность ЦОД, кВт.

Значение PUE ≈ 1,35 - приемлемое базовое значение, которое можно снижать за счет усовершенствований инженерных решений.

Для экономики проекта ЦОД важно учитывать платежи за подключение к местным сетям энергоснабжения. В зависимости от региональных цен на подключение стоимость варианта с ПКХМ может увеличиться в 2,0 - 2,5 раза. Соответственно вырастают инвестиции и в системы резервного электроснабжения, которые должны обеспечивать непрерывную работу не только серверного оборудования, но и холодильной установки.

Экономика побуждает инвестора ЦОД рассматривать варианты, в том числе и с применением АБХМ, работающей на природном газе, подключение к которому, как правило, менее затратно.

Тепловой коэффициент современных АБХМ, работающих со сжиганием в АБХМ природного газа составляет

ζ = Q0/Qг ≈ 1,4,

из одной единицы «теплоты» сгоревшего газа вырабатывается ~1,4 единицы «холода» с температурой холодоносителя на выходе t_w1 ≈ 7 °С.

Затраты на оборудование и его подключение к сетям энергоснабжения в случае применения АБХМ, как правило, заметно ниже, чем при применении ПКХМ. В этом случае снижаются затраты на создание резервных источников энергоснабжения.

Емкость со сжиженным природным газом для АБХМ дает удельный показатель стоимости 1,0 кВт энергоресурса ниже, чем 1,0 кВт электроэнергии дизель-генератора с системой хранения дизельного топлива.

АБХМ требуют значительного расхода воды на подпитку градирен, обязательного элемента холодильной установки с АБХМ.

Градирня АБХМ сбрасывает в окружающую среду теплоту, определяемую по формуле

Qгр = Q0 + Q0/ζ = 1,71Q0,

(2)

и требует подпитки водой с расходом G_w, м³/ч:

Gw = 0,0025·Q0,

(3)

при P_цод ≈ 1000 кВт расход воды градирни составляет ~2,5 м³/ч, а это приводит к развитию систем водоснабжения и системы водоотведения ЦОД.

Таким образом, без технико-экономических оценок вариантов трудно сделать однозначный выбор холодоснабжения ЦОД.

Следует учитывать также климатическую обстановку региона размещения ЦОД, цены подключения к сетям электроснабжения, газоснабжения, водоснабжения и водоотведения, электропотребление, воздействие на экологию.

7.1.9 При выборе места установки воздухоохладителя и оценке эффективности его функционирования следует учитывать итоговое качество распределения скоростей и температур воздуха в холодном коридоре, используя методы математического моделирования в итерационном подходе. Для первичного проектного решения разрабатывается математическая модель течения. По результатам математического моделирования в случае неравномерности температурного и скоростного полей по объему холодного коридора в проектное решение вносят корректировки, моделирование повторяют, добиваясь приемлемого результата.

7.1.10 При выполнении СТКВ как прямоточной, работающей на наружном и рециркуляционном воздухе, в рядах поверхностных воздухоохладителей центральных кондиционеров необходимо устанавливать перепускные клапанные группы (рисунок 7.3), поскольку поверхностный воздухоохладитель активно работает около 250 ч в году, а преодоление его аэродинамического сопротивления сетью СТКВ происходит в течение 8760 ч, т.е. весь год.

1 - корпус; 2 - ряды поверхностных воздухоохладителей; 3 - клапанная группа

Рисунок 7.3 - Схема размещения перепускного клапана
в ряду поверхностных воздухоохладителей

7.2 Испарительное охлаждение воздуха

7.2.1 Системы испарительного охлаждения воздуха рекомендуется применять для снижения затрат в системе технологического кондиционирования воздуха, а также для повышения энергоэффективности и экологичности ЦОД. Применение испарительного охлаждения позволяет сократить строительную стоимость систем охлаждения.

Пример 2 - Оценка работы системы испарительного охлаждения

Принимаем, что в 1,0 кг потока влажного воздуха испаряется 1 г воды. Масса системы «влажный воздух-водяной пар» возрастает на 0,1 % и становится 1,001 кг. Один грамм воды отнимает от воздуха теплоту парообразования, охлаждает его, отводя теплоту, Q₀, кДж, определяемую по формуле

Q0 = mw·r,

(4)

Q₀ = 0,001·2500 = 2,5 кДж,

где r - удельная теплота парообразования воды, кДж/кг,

m_w - масса воды, кг.

Если от 1,0 кг воздуха отводится теплота Q₀, то его температура снижается на Δt:

Δt = Q₀/c_p·т_в ≈ 2,5/1,0·1,0 = 2,5 °С,

где т_в - масса воздуха, кг,

с_р - удельная теплоемкость воздуха, кДж/(кг·°С).

Получаем достоверную оценку работы системы испарительного охлаждения: при испарении в 1,0 кг влажного воздуха 1 г воды, температура воздуха снижается на 2,5 °С, таким образом, если испарительная система увеличила влагосодержание влажного воздуха на 1,0 г/кг, то воздух охладился на 2,5 °С. Если разность влагосодержаний Δd увеличилась на 4 г/кг, то температура ненасыщенного воздуха снизилась на 10 °С.

Зависимость «1 г испарившейся воды охлаждает 1 кг воздуха на 2,5 °С» будет полезна для последующих оценок принимаемых инженерных решений.

В жаркое время теплого периода года для условий средней полосы России испарить 4 г воды в 1,0 кг воздуха технически не сложно.

Система испарительного охлаждения может поддерживать в холодном коридоре оптимальную температуру в 27 °С, так как в общем случае, в средней полосе России температура наружного воздуха не превышает 37 °С.

Такие оценки следует осуществлять при выборе инженерных решений на предпроектном этапе, когда осуществляют отбор конкретных вариантов инженерных решений для последующего детального анализа.

Практический пример применения испарительного охлаждения в ЦОД на мощность 28 МВт (ЦОД Facebook) представлен в рисунке 7.4.

а - клапанные группы входа воздуха, фильтры грубой очистки; б - голубые фильтры тонкой
очистки, насосные группы высокого давления установок обессоливания воды и сети
распыления воды; в - факелы (спреи) водного аэрозоля и ткань каплеотделителей; г - ткань
каплеотделителей и стена, состоящая из бескорпусных радиальных вентиляторов

Рисунок 7.4 - Пример практической реализации системы испарительного
охлаждения в ЦОД Facebook

Система технологического кондиционирования воздуха ЦОД Facebook в теплый период года работает как прямоточная. Теплый наружный воздух проходит очистку в фильтрах и за счет адиабатного испарения охлаждается и подается вентиляторами в холодные коридоры серверных залов. Ассимилируя теплоту серверов, воздух из горячих коридоров серверных залов удаляется в окружающую среду.

Успешная реализация испарительного охлаждения воздуха в ЦОД большой мощности приводит к расширенному использованию адиабатных систем в ЦОД, также средней и малой мощности.

Пример 3 - Анализ годового распределения температур наружного воздуха

Рассматриваем годовое распределение температуры наружного воздуха по сухому и мокрому термометрам в Москве (рисунки 7.5 и 7.6), нанеся на график изотермы 18 °С и 27 °С, определяющие зону оптимального температурного диапазона воздуха холодного коридора ЦОД. Анализ показывает, что суммарные интервалы работы системы испарительного охлаждения составляют около 25 дней в году. Известно, что ночная температура воздуха теплого периода в среднем на 9 °С - 10 °С ниже дневной. Для поддержания оптимальной температуры воздуха в ЦОД, расположенном в Москве, система испарительного охлаждения должна работать около 250 ч. При этом, как следует из рисунка 7.6, температура мокрого термометра всегда более чем на 5 °С ниже температуры t = 27 °С.

Рисунок 7.5 - График распределения годовой температуры наружного воздуха
по сухому термометру (г. Москва)

Рисунок 7.6 - График распределения годовой температуры наружного
воздуха по мокрому термометру (г. Москва)

7.2.2 Система испарительного охлаждения требует решения двух инженерных задач:

- тонкое распыление воды;

- глубокая деминерализация воды.

7.2.3 Мелкодисперсное распыление воды достигается, как правило, при давлениях воды около 10 132 500 Па (100 атм). Исследования показывают, что при давлении Р = 13 982 850 Па (138 атм) и сопловом отверстии распылителя d_о = 0,15 мм средний диаметр капель спрея равен 11 мкм. Гистограмма распределения капель показана на рисунке 7.7, а общий вид распылителя - на рисунке 7.8.

Рисунок 7.7 - Гистограмма распределения диаметра капель при давлении Р = 13 982 850
Па (138 атм)

Рисунок 7.8 - Общий вид аэрозольного распылителя

Новый гидродинамический эффект позволяет диспергировать воду со средним диаметром d_cр = 13 мкм при давлении Р = 1 013 250 Па (10 атм). Гистограмма капель спрея воды приведена на рисунке 7.9, а гидродинамическая схема распылителя - на рисунке 7.10.

Рисунок 7.9 - Гистограмма распределения диаметра капель воды при давлении
Р = 1 013 250 Па (10 атм)

7.2.4 Для интенсификации массообмена в системе «мелкие капли-воздух» необходимо создать относительное движение капель воды и воздуха. Это движение для мелкодисперсных капель воды создают турбулентные пульсации потока, которые, в свою очередь, дает арочный элемент (рисунок 7.10) при работе на воздухе. Поток воздуха, проходя через арочный элемент, преобразуется в систему интенсивных вихрей, которые, подхватывая мелкие капли, обеспечивают интенсивный перенос водяного пара из пограничного слоя капли в воздух.

l₀ - длина элемента; d₀ - ширина элемента; r₀ - радиус арки

Рисунок 7.10 - Схема гидравлического распылителя воды

7.2.5 Интенсификаторы массообмена в испарительных системах охлаждения позволяют снижать длину пути испарения капель, обеспечивают повышенную устойчивость процессу испарения и уменьшают потери воды в дренаж.

На рисунке 7.11 показана аэродинамическая схема интенсификатора на средний расход испаряемой воды в 25 кг/ч (Q₀ ≈ 17 кВт).

1 - корпус; 2 - арочные элементы; 3 - распылители воды; 4 - осевые вентиляторы,
L_i ≈ 250 м³/ч

Рисунок 7.11 - Схема интенсификатора массообмена

7.2.6 При минимальных энергетических затратах возможно мелкодисперсное распыление воды при использовании общепромышленных радиальных насосов с рабочим давлением от 810 600 до 1 215 900 Па (от 8 до 12 атм), а применение интенсификаторов массообмена с генераторами детерминированного хаоса позволяет переводить в паровую фазу 85 % - 95 % диспергируемой воды.

7.2.7 Кроме распылительных систем в испарительном охлаждении рекомендуется использовать орошаемые насадки из различных материалов (рисунок 7.12).

Рисунок 7.12 - Примеры различных орошаемых насадок

7.2.8 Применение орошаемых насадок, также как и высоконапорного диспергирования, требует глубокого обессоливания. В противном случае, на поверхности смачиваемой насадки происходит накопление солей, а в высоконапорных форсунках зарастает микроотверстие. Рекомендуется применять отечественные системы деминерализации воды, построенные на обратном осмосе.

Примечание - Значительно меньшая чувствительность к минерализации воды у распылителя, приведенного на рисунке 7.10. Все гидродинамические эффекты - мощный автоколебательный процесс с частотой ~ 2500 Гц и распыление воды происходит под аркой, т.е. в наружной среде, основное требование распылителя - отсутствие в воде механических примесей размерами более 30 - 50 мкм.

7.2.9 Для снижения аэродинамического сопротивления орошаемой насадки за временными границами ее использования целесообразно устанавливать и открывать перепускные клапанные группы, смонтированные в ряду кассет (рисунок 7.13). Для условий Москвы перепускные клапаны должны быть открыты 99 % времени.

1 - корпус, 2 - кассеты насадок, 3 - клапанная группа

Рисунок 7.13 - Схема размещения перепускного клапана
в ряду кассет орошаемых насадок

7.2.10 Для снижения вероятности бактериального патогенного заражения воздушного потока необходимо предусмотреть периодическое введение в воду биоцидов массового применения, разработанных для пищевой

промышленности, поскольку рециркулирующая в насадке вода с температурой 18 °С - 20 °С может быть источником такого заражения. Следует использовать биоциды, не обладающие токсичностью и не активные в отношении металлов, пластмасс, красителей, биоразлагаемые и экологически безопасные.

7.2.11 Разработчик СТКВ ЦОД, применяющий орошаемые насадки, должен предусматривать для службы эксплуатации регламент отбора смывов с орошаемой насадки, а также систему хранения и автоматизированного дозированного введения биоцида в рециркулирующую воду.

7.2.12 Для выработки проектного решения по водоснабжению необходимо выполнять анализ воды из предполагаемых источников водоснабжения - сетей централизованного водоснабжения или собственной скважины на участке размещения ЦОД.

7.2.13 Воду на технологические нужды следует брать из верховодных пластов с небольшой глубиной залегания.

Примечание - В таких случаях разрешение на скважину не требуется, а затраты на ее создание не значительны.

7.2.14 Не рекомендуется использование артезианских скважин, поскольку согласование их проектов и обустройство требуют больших усилий и затрат.

7.2.15 Итоговое решение следует формировать после экономической оценки по подключению к сетям водоснабжения с прокладкой собственного водопровода до точки подключения в сопоставлении с использованием скважины до верховодных пластов или артезианской.

7.3 Охлаждение серверов центров обработки данных вентиляционным воздухом

7.3.1 Для климатических условий средней полосы России более 97 % времени года машинные (серверные) залы могут охлаждаться вентиляционным воздухом окружающей среды.

7.3.2 В случаях, когда температура наружного воздуха t_н ≥ 27 °С - включаются системы охлаждения, при температурах наружного воздуха 18 °С ≤ t_н ≤ 27 °С - СТКВ работает как прямоточная, а при t_н ≤ 18 °С - как прямоточная с частичной рециркуляцией.

В особо холодном периоде, когда температура наружного воздуха t_н = -40 °С, процент рециркуляции рекомендуется увеличить до 80 % - 90 %.

7.3.3 Задача СТКВ состоит в подготовке воздуха в заданном температурном диапазоне и его подаче с достаточной равномерностью в холодный коридор, откуда серверное оборудование будет забирать воздух собственными вентиляторами, организуя отвод теплоты.

Неравномерность распределения температуры воздуха в холодном коридоре, без ущерба для работы серверов, может составлять ±2 °С, а скорость воздуха (скоростные поля) - 0,1 - 0,6 м/с.

7.3.4 В ЦОД мощностью Р ≈ 300 кВт и более, при расширении диапазона работы серверного оборудования до 5 °С ≤ t_ЦОД ≤ 45 °С, с ростом его надежности, особое внимание следует уделять задачам аэродинамики.

7.3.5 Рекомендуется применять инструменты математического моделирования (CFD-моделирование) ввиду прохождения значительных расходов воздуха и возрастания характерных размеров сечений воздуховодов до значений около 2 м и более. В таком случае в ЦОД нет условий для стабилизации течения потоков воздуха на прямых участках длиной в 15 - 20 калибров, т.е. практически отсутствуют прямые участки длиной по 30 - 40 м. Потоки воздуха неравномерно распределяются по сечениям воздуховодов, и задачи движения потоков уже невозможно рассматривать как задачи с сосредоточенными параметрами.

7.4 Увлажнение воздуха в ЦОД

7.4.1 В холодный период года, когда влагосодержание наружного воздуха существенно ниже 1,0 г/кг, рекомендуется увлажнять воздух, поступающий в ЦОД.

7.4.2 Для замкнутых СТКВ требуемая производительность увлажнителя не велика и поддерживать влажность можно с помощью ультразвуковых генераторов водного аэрозоля.

Примечание - Отечественные компании наладили производство и сервис ультразвуковых генераторов аэрозоля на расход от 2 до 30 кг/ч.

7.4.3 При реализации в ЦОД прямоточной СТКВ с рециркуляцией значение расхода испаряемой воды указывает на целесообразность ее диспергирования.

Пример 4 - Расчет расхода воды на увлажнение

Исходные данные:

Электрическая мощность ЦОД принята 27 МВт;

Расчетный расход воздуха через серверы составит ~ 7,0 млн. м³/ч.

Порядок расчета:

В холодный период года, при температуре наружного воздуха t_н = -30 °С, потребуется увеличивать влагосодержание потока воздуха в холодные коридоры на 0,9 г/кг.

Расход воды на увлажнение при этом составляет ~ 2,3 кг/с (~8,4 м³/ч).

На рисунке 7.14 приведена I-d-диаграмма, отражающая процессы обработки воздуха, подаваемого в холодные коридоры, в холодный период года при температуре наружного воздуха t_н = -30 °С.

1-2 - ассимиляция теплоты серверов; 2-(.)Н - смешение рециркуляционного воздуха с наружным;
3-1 - адиабатное увлажнение воздуха; (.)Н - точка с параметрами наружного воздуха

Рисунок 7.14 - Графическое отображение процессов обработки воздуха
в СТКВ ЦОД в холодный период года

7.5 Оценка энергоэффективности решений

7.5.1 Показателем энергоэффективности ЦОД служит коэффициент PUE, значение которого при работе парокомпрессионных холодильных машин составляет около 1,35.

Примечание - В проведенных оценках не учитывалась работа вентиляторов, перемещающих достаточно большие массы воздуха, причем вентиляторы ЦОД работают круглогодично, т.е. 8760 ч/год, в то время как холодильные установки для условий средней полосы России, в зависимости от качества инженерных решений, работают всего 100 - 300 ч/год.

Пример 5 - Оценка численного значения PUE с учетом работы вентиляторов

Исходные данные:

На 1 кВт мощности серверов подается объем воздуха L_в = 300 м³/ч.

Аэродинамическое сопротивление воздушного тракта, оборудования и сети воздуховодов ΔР, принимают равным 350 Па.

Порядок расчета:

Электрическую мощность вентиляторов, N, Вт, расходуемую на преодоление аэродинамического сопротивления воздушного тракта, определяют как:

N = L_в·ΔР/η_э.в. = 300·350/(0,65·3600) = 44,87 Вт,

где η_э.в. - КПД вентилятора.

принимают N = 45 Вт.

Итоговое значение PUE составляет:

PUE = 1,35 + 0,045 = 1,395,

принимают PUE = 1,4.

Таким образом, базовая оценка коэффициента PUE составит для теплого периода года ~1,4.

7.5.2 Для охлаждения воздуха ЦОД рекомендуется использование испарительного охлаждения, что не только снижает энергоемкость СТКВ и ЦОД в целом, но и сокращает инвестиционные затраты на оборудование, его резервирование и силовое энергообеспечение.

7.5.3 На этапе разработок следует оценивать годовые климатические изменения, учитывать возможное отклонение статистически устойчивых результатов в районе размещения ЦОД, изучить действие ветра на воздухозабор и выброс теплого воздуха ЦОД, используя инструменты CFD-моделирования.

7.5.4 В воздушном тракте ЦОД необходимо применять направляющие аппараты, снижающие зоны отрывного течения и связанное с этим аэродинамическое сопротивление. Две направляющие лопатки в узле поворота потока воздуха - в отводе (рисунок 7.15б), снижают коэффициент местного сопротивления в 2 - 2,5 раза.

а - направляющие лопатки отсутствуют; б - направляющие лопатки
R₁ = 65 мм, R₂ = 125 мм

Рисунок 7.15 - Течение в отводе воздуховода

При использовании направляющих лопаток с указанными характеристиками уменьшается зона отрыва, а аэродинамическое сопротивление (коэффициент местного сопротивления) снижается в 2,3 раза.

7.5.5 Для снижения температуры конденсации холодильного агента и снижения потребляемой мощности компрессоров ПКХМ порядка 17 % целесообразно применять испарительное охлаждение воздуха, идущего на конденсатор. На рисунке 7.16 показана схема аппарата воздушного охлаждения, в зону всасывающего факела которого подаются мелкодисперсные капли воды, а интенсификатор массообмена повышает интенсивность турбулентности с естественно природного уровня от ε = 3 % до ε = 50 % - 65 %.

Рисунок 7.16 - Схема аппарата воздушного охлаждения
с интенсификатором массообмена

Осевые вентиляторы интенсификатора перемещают воздух с расходом около 10 % - 15 % расхода через конденсатор.

7.5.6 Для испарения капель спрея воды, попадающих на площадку под конденсаторами под действием порывов ветра, на площадке следует в шахматном порядке выкладывать Δ-крылья, которые забирают часть энергии потока воздуха и, создавая за собой два интенсивных вихря, интенсифицируют испарение упавшей на плоскость воды (рисунок 7.17).

а - схема АВО, б - схема раскладки Δ-крыльев;
в - схема Δ-крыла; г - схема течения

Рисунок 7.17 - Схема размещения Δ-крыльев
над аппаратом воздушного охлаждения

7.5.7 Для принятия контейнерных решений необходимо выполнить CFD-моделирование воздушных потоков в зоне всасывания аппарата воздушного охлаждения.

7.5.8 Для технологического водоснабжения систем испарительного охлаждения и хозяйственно-бытового водоснабжения, особенно для ЦОД, размещаемых в пригородных районах, в качестве источника рекомендуется использование верховодных водоносных слоев глубиной не более 40 - 50 м, что упрощает процедуры согласований и снижает затраты на создание источника.

7.5.9 Термическое сопротивление ограждений машинных (серверных) залов ЦОД должно быть понижено. Во избежание создания условий конденсации водяного пара тепловыми мостами на зону тепловых мостов следует наносить слои пробковой крошки на связующем и интенсифицировать в их зоне возвратные течения горячего воздуха. Анализ температурных полей следует проводить, используя инструменты CFD-моделирования, а интенсификацию теплообмена в зоне тепловых мостов осуществлять при использовании Δ-крыльев, установленных на расстоянии 2 - 4 калибра до зоны возможной конденсации вверх по потоку.

7.5.10 В рядах фильтров грубой и тонкой очисток целесообразно устанавливать перепускные клапаны (рисунок 5.5), управление которыми осуществляется по показаниям пылемера, определяющего запыленность наружного воздуха.

7.5.11 В случае использования поверхностных воздухоохладителей также целесообразно устанавливать ряды управляемых перепускных клапанов (рисунок 7.3).

7.5.12 При использовании ультразвуковых увлажнителей подаваемую в аппараты воду необходимо предварительно подогревать воздухом горячих коридоров в поверхностном аппарате до 30 °С - 40 °С, что приводит к увеличению производительности ультразвуковых увлажнителей более чем на 30 % и, в то же время, к уменьшению потребляемой ими мощности.

7.5.13 От увлажнения воздуха с помощью парогенераторов целесообразно отказываться ввиду их высокой энергоемкости.

7.5.14 При устройстве ЦОД на грунтах вечной мерзлоты и на ледниках их следует устанавливать на винтовых сваях, а на шейках свай над грунтом устаивать развитые поверхности теплообмена. Рекомендуется также применять управляемый обдув этих поверхностей воздухом окружающей среды. Цель мероприятия - снять кондуктивную теплоту, исходящую от корпуса ЦОД через сваи в грунт (рисунок 7.18).

Рисунок 7.18 - Схема размещения контейнера ЦОД на винтовых сваях
с защитой от таяния грунтов

7.5.15 Для мощных ЦОД, создаваемых по схеме, представленной на рисунке 8.7, рационально будет увеличивать расстояние «горячих» зон между серверными залами и размещать в этих пространствах современные автономные тепличные модули. Известно, что современные теплицы дают урожай до 800 т овощей с га в год (~80 кг/м²), а затраты мощности на обогрев теплицы в 4 - 5 раз больше затрат на досветку растений. При таком подходе сбрасываемая в окружающую среду теплота ЦОД может быть на 50 % - 70 % полезно использована, в том числе в северных районах страны.

7.5.16 В зависимости от особенностей района размещения для персонала ЦОД и жителей можно устраивать бассейн с подогревом воды, обогреваемых пространств для физических активностей работников ЦОД, высаживать экзотические кустарники и др.

7.5.17 Завершающий этап анализа энергоэффективности ЦОД - энергомоделирование его работы в годовом эксплуатационном цикле с использованием различных программных продуктов.

Сначала определяется изменение значения PUE в течение всего астрономического года, а затем значения PUE_cp. По значению PUE_cp сопоставляют конкурирующие варианты инженерных решений на предпроектном этапе.

Примечание - В настоящем разделе рассмотрены малозатратные инженерные решения, которые снижают энергоемкость ЦОД, без учета генерации электрической мощности от солнечного излучения или энергии ветра.

8 Компоновочные решения по машинным залам центров обработки данных

8.1 Для малых ЦОД системообразующих организаций и учреждений страны, таких как школы и техникумы, музеи и архивы, поликлиники и больницы, региональные и муниципальные органы управления, суды, прокуратуры и отделы МВД требуемая вычислительная мощность серверов составляет 5 - 15 кВт. В таких ЦОД используется система испарительного охлаждения, как это показано на рисунке 7.4. При этом принимают, что ЦОД содержит две стойки, мощность каждой составляет P_i = 7 кВт.

Система испарительного охлаждения выносится в окружающую среду, а сам ЦОД размещается в габаритах 10-футового морского контейнера (рисунок 8.1).

1 - корпус; 2 - вентиляторы; 3 - защитный козырек; 4 - стойки; 5 - фильтры грубой
и тонкой очистки; 6 - выгородка из листового поликарбоната; 7 - интенсификатор
массообмена; 8 - воздухозаборное устройство; 9 - узел водоподготовки;
10 - силовые и слаботочные щиты; 11 - распылители воды; 12 - холодный коридор;
13 - горячий коридор; 14 - перегородка; 15 - вентиляторы серверного оборудования

Рисунок 8.1 - Схема контейнерного ЦОД на две серверные стойки

В корпусе 1, выполненном из сэндвич-панелей, размещены две стойки 4, в которых установлено серверное оборудование на 14 кВт.

В жаркое время теплого периода года наружный воздух через выгородку из листового поликарбоната 6 поступает в воздухозаборное устройство 8. На пути воздуха установлен интенсификатор массообмена 7, с осевыми вентиляторами и распылителями воды 11. Воздух, охлажденный до температуры t = 27 °С, входит в корпус ЦОД и, проходя через фильтры грубой и тонкой очистки 5, поступает в холодный коридор 12. Серверное оборудование собственными вентиляторами 15 забирает воздух из холодного коридора и, охлаждая тепловыделяющие элементы, подает его в горячий коридор 13. Из горячего коридора воздух температурой 40 °С - 45 °С забирают вентиляторы 2 и через защитный козырек 3 выбрасывают в окружающую среду.

В технической зоне ЦОД, отделенной от серверной зоны перегородкой 14, расположены узел водоподготовки 9, силовые и слаботочные щиты 10, а также система управления.

Система технологического кондиционирования воздуха устраивается как прямоточная с расходом воздуха около 4000 м³/ч.

В холодный период года расход воздуха, подаваемый в ЦОД, уменьшается, а производительность внутренних вентиляторов серверного оборудования остается прежней - они и осуществляют внутреннюю рециркуляцию.

Для поддержания в ЦОД относительной влажности φ ≥ 20 % в потоке внутренней рециркуляции размещается ультразвуковой увлажнитель воздуха.

Поперечная схема организации воздухообмена в ЦОД дает наименьшие аэродинамические потери, а само решение с системой внешнего испарительного охлаждения - пониженную строительную стоимость. При этом значение PUE составит 1,04 - 1,05.

8.2 При использовании 20- и 40-футовых контейнеров и размещении в них 5 и 10 стоек, формируют ЦОД на мощность 35 и 70 кВт. Увеличивая мощность серверного оборудования в стойке до P_i = 15 кВт, создают ЦОД Р₅ = 75 кВт и Р₁₀ = 150 кВт. Дальнейшее наращивание мощности ЦОД происходит за счет формирования ЦОД из 2, 3, 4 контейнерных модулей.

8.3 В контейнерных решениях чаще всего применяют парокомпрессионные холодильные машины с воздухоохладителями непосредственного испарения (рисунок 8.2).

1 - серверная стойка; 2 - воздухоохладитель непосредственного испарения;
3 - компрессорно-конденсаторный агрегат; 4 - корпус

Рисунок 8.2 - Схема контейнерного ЦОД с ПКХМ и воздухоохладителями
непосредственного испарения

В корпусе 4, в технической зоне, размещены две и более серверных стоек 1 с оборудованием. В зоне горячего коридора размещен воздухоохладитель непосредственного испарения 2 с собственным осевым вентилятором. На воздухоохладитель работает компрессорно-конденсаторный агрегат 3, размещенный на стене контейнера.

В этом случае СТКВ реализуется как замкнутая, без связи с наружным воздухом. Воздухоохладитель забирает воздух из горячего коридора и подает его в холодный коридор.

8.4 Машинный (серверный) зал ЦОД на 400 кВт рекомендуется разрабатывать по схеме, представленной на рисунке 8.3.

1 - стойки; 2 - холодный коридор; 3 - горячий коридор;
4 - центральный кондиционер; 5 - каплеотделитель; 6 - воздухозаборная шахта;
7 - подвесной потолок; КЦ 1, КЦ 2 - центральный кондиционер

Рисунок 8.3 - Схема серверного зала на 80 серверных стоек

На рисунке 8.3 показаны два ряда стоек 1 с серверным оборудованием (всего 80 стоек) с мощностью каждой стойки P_i = 5 кВт.

Зал обслуживают два центральных кондиционера 4, которые подают воздух в зашивку. Воздух из зашивки поступает в правый и левый холодные коридоры 2, а оттуда через серверное оборудование - в центральный горячий коридор 3.

Воздух из горячего коридора вновь забирается кондиционерами. Если реализуется замкнутая система, то воздухозаборная шахта 6 отсутствует, и воздух горячего коридора кондиционер охлаждает и вновь подает в зашивку. За подвесным потолком 7 размещены лотки с кабельной разводкой. Производительность центральных кондиционеров КЦ 1 и КЦ 2 имеют по воздуху составляет около 60 000 м³/ч.

8.5 При создании разомкнутой энергоэффективной СТКВ обустраивают шахту наружного воздуха 6, а в центре горячего коридора устраивают вытяжную шахту с осевыми вентиляторами. Вокруг оголовка воздухозаборной шахты устраивают систему испарительного охлаждения (рисунок 8.4).

Рисунок 8.4 - Оголовок воздухозаборной шахты
с системой испарительного охлаждения

8.6 При разработке ЦОД, предназначенных для ответственных работ или коммерческого использования, необходимо проработать вопросы надежности и резервирования оборудования.

В таком случае в качестве центральных кондиционеров следует использовать не готовые типовые решения, а создавать сборное решение в строительных конструкциях, как это осуществлялось в 80-е годы (рисунок 8.5).

В сборном кондиционере расход воздуха может составлять 100 000 м³/ч и 200 000 м³/ч, а мощность серверного оборудования в зале может достигать 800 и 1600 кВт соответственно.

В таком сборном кондиционере значительно проще и дешевле зарезервировать оборудование по схеме N + 1.

8.7 Вместо системы испарительного охлаждения (рисунок 8.5) возможна установка секции поверхностных воздухоохладителей, запитываемых холодной водой от водоохлаждающей холодильной машины.

8.8 Комплектуя серверный зал ЦОД целесообразно сохранять в СТКВ горизонтальную схему движения воздушных масс, что позволяет снизить уровень аэродинамических потерь, понизить значение PUE. При таком подходе схема серверного зала будет выглядеть, как показано на рисунке 8.6.

1 - воздухозаборная шахта; 2 - фильтры грубой и тонкой очистки;
3 - система испарительного охлаждения; 4 - каплеотделитель;
5 - вентиляторы (осевые или радиальные)

Рисунок 8.5 - Центральный кондиционер в строительных конструкциях:

1 - воздухозаборное устройство; 2 - интенсификатор массообмена; 3 - распылитель воды;
4 - фильтры грубой и тонкой очистки; 5 - увлажнитель; 6 - корпус; 7 - подвесной потолок;
8 - вентилятор; 9 - серверная стойка

Рисунок 8.6 - Схема серверного зала с горизонтальным движением воздушных масс

8.9 Реализуемая в серверном зале технология оказывает влияние на архитектурные решения. Примером реализации ЦОД, как комбинации серверных залов и административного здания, может служить схема, представленная на рисунке 8.7.

К административному зданию 1 примыкает технологическая галерея 2, от которой в обе стороны отходят серверные залы 4 с рядами серверных стоек 3. Рассмотренный вариант содержит 16 серверных залов длиной около 50 м. Общее число стоек составляет около 700 единиц. Потребляемая серверами одного этажа мощность может составлять 3500 - 7000 кВт.

1 - административное здание; 2 - технологическая галерея;
3 - ряды серверных стоек; 4 - серверные залы

Рисунок 8.7 - Схема ЦОД с примыканием административного здания

Технологическое решение, показанное на рисунке 8.7, достаточно легко модернизируется и развивается за счет наращивания галереи и залов первого этажа.

8.10 Схемы работы машинных (серверных) залов ЦОД по рисунку 8.7 в теплый и холодный периоды года показаны на рисунках 8.8 и 8.9.

а - теплый период года; б - холодный период года

Рисунок 8.8 - Схема работы СТКВ в серверном зале ЦОД
с однорядным размещением серверных стоек

 

а - теплый период года; б - холодный период года

Рисунок 8.9 - Схема работы СТКВ в серверном зале ЦОД
с двухрядным размещением серверных стоек

8.11 Современные ЦОД с точки зрения СТКВ не требуют для своего функционирования фальшполов. Электрические коммуникации серверного оборудования, разводимые вдоль потолка серверного зала, рекомендуется защищать подвесным потолком.

Библиография

[1] ГН 2.1.6.3492-17 Предельно допустимые концентрации (ПДК) загрязняющих веществ в атмосферном воздухе городских и сельских поселений

Ключевые слова: центры обработки данных, серверное оборудование, холодный коридор, горячий коридор, система технологического кондиционирования воздуха, система испарительного охлаждения, коэффициент энергоэффективности, аппарат воздушного охлаждения, интенсификация испарения