Стратегии управления Emi в центрах обработки данных и серверных комнатах
Реальная стоимость EMI в критической инфраструктуре
Электромагнитные помехи (ЭМИ) - это не просто теоретическая проблема для операторов центров обработки данных; это постоянный операционный риск, который может ухудшить пропускную способность сети, повредить сохраненные данные и вызвать преждевременные сбои оборудования. В средах, где время безотказной работы измеряется в девятках и задержке в микросекундах, даже короткие события ЭМИ могут каскадироваться в значительные финансовые потери. Одна поврежденная транзакция на финансовом торговом этаже или поврежденная запись базы данных в системе здравоохранения может иметь последствия, выходящие далеко за рамки стоимости замены оборудования. Понимание физики ЭМИ и реализация многоуровневых контрмер, следовательно, является основной компетенцией для любой организации, которая поддерживает локальную серверную инфраструктуру.
Современные центры обработки данных упаковывают увеличивающиеся плотности мощности в меньшие следы. Высокочастотные коммутационные источники питания, плотные серверные массивы и высокоскоростные последовательные межсоединения — все они генерируют электромагнитные поля, которые могут соединяться в соседние кабели и задние плоскости. При этом оборудование более чувствительно, чем когда-либо: современные процессоры работают при более низких порогах напряжения, делая их более восприимчивыми к индуцированным токам. Сочетание более высоких уровней излучения и более низкого иммунитета создает постепенно более узкий запас погрешности.
Основы электромагнитного вмешательства в центрах обработки данных
EMI в контексте центра обработки данных относится к нежелательной электромагнитной энергии, распространяющейся через проводимость или излучение и нарушающей нормальную работу электронного оборудования.Источники являются как внутренними, так и внешними: внутренние источники включают в себя источники питания сервера, инверторы ИБП, двигатели вентилятора охлаждения и даже высокоскоростную сигнализацию на заднем плане.Внешние источники включают близлежащие радиопередатчики, удары молнии, переключение переходных процессов от строительных электрических систем и даже оборудование, вводимое обслуживающим персоналом.
Критическое различие в центре обработки данных заключается в том, что излучаемый EMI , который проходит по воздуху и соединяется с кабелями или отверстиями шасси, и проводящий EMI , который проходит вдоль линий электропередач, наземных путей или сигнальных кабелей. Проводимый EMI особенно коварен, потому что он может распространяться по всему объекту, влияя на оборудование, далекое от исходного источника. Эффективное управление требует одновременного решения обоих путей распространения.
Оставленный неуправляемым, EMI проявляется в нескольких наблюдаемых симптомах: необъяснимые ошибки CRC на сетевых интерфейсах, сбои чтения/записи диска, блокировки системы, которые не могут быть воспроизведены в тестировании, и постепенное ухудшение эффективности питания. Эти симптомы часто ошибочно приписывают программным ошибкам или дефектам оборудования, что приводит к дорогостоящим и бесполезным циклам устранения неполадок.
Электромагнитная среда типичной серверной комнаты
Типичная серверная комната содержит десятки источников питания, каждый из которых работает в качестве коммутационного преобразователя на частотах от 50 кГц до 1 МГц. Эти преобразователи генерируют гармоники, которые хорошо распространяются в диапазон мегагерц. Вентиляторы охлаждения добавляют дополнительный низкочастотный шум. Сами материнские платы серверов генерируют выбросы от тактовых сигналов, шин памяти и полос PCIe, которые работают на частотах мультигигагерц. Результатом является широкополосная электромагнитная среда, которая может соединяться в неэкранированную витую парную кабельную сеть, особенно если кабельные пробеги превышают рекомендуемые длины или маршрутизируются параллельно силовым кабелям.
Помимо самого оборудования, в профиль ЭМИ вносит вклад инфраструктура объекта. Бесперебойные источники питания, в частности более старые блоки двойного преобразования, могут вводить значительный шум переключения на нейтральные и наземные проводники. Освещение балластов, лифтовых двигателей и компрессоров HVAC вводят переходные всплески. Даже конструкционная сталь в здании может выступать в качестве непреднамеренной антенны, если не поддерживаются должным образом заземляющие связи.
Стратегия первая: архитектура заземления и связывания
Единственным наиболее эффективным вмешательством для управления ЭМИ является правильно спроектированная инфраструктура заземления и склеивания. Заземление служит двум различным целям в этом контексте: оно обеспечивает путь с низким сопротивлением для токов разлома и устанавливает стабильную плоскость отсчета для напряжений сигнала. Когда исходная отсчетная линия шумна или имеет высокое сопротивление, каждый сигнал в системе становится восприимчивым к помехам.
Звёздное заземление против ячеистого заземления
Традиционное телекоммуникационное заземление использует топологию звезд, где каждый шкаф и часть оборудования связаны обратно в одну точку. Этот подход предотвращает заземление петлей, которые являются общим источником низкочастотного проводимого ЭМИ. Однако на более высоких частотах (выше 1 МГц) индуктивность длинных заземляющих проводников делает заземление звезд неэффективным. Современная лучшая практика для центров обработки данных использует систему заземления с множеством параллельных путей к земле, создавая эквипотенциальную плоскость с низким сопротивлением. Это часто достигается путем установки сигнальной опорной сетки под поднятым полом, прикрепленной к каждой рамке шкафа в нескольких точках.
Сигнальная опорная сетка, обычно построенная из медного ремня или косы в 2-футовом по 2-футовому сеточном рисунке, обеспечивает опорную плоскость низкой индуктивности для всего оборудования над ней. Рамки шкафа соединены с этой сеткой проводниками не более 24 дюймов. Сама сетка соединена с основной системой заземления электрода здания в нескольких точках. Эта архитектура резко снижает разность напряжений между шасси оборудования, устраняя один из основных механизмов сцепления для проводимого EMI.
Практический контрольный список
- Убедитесь, что все рамки шкафа связаны с опорной сеткой сигнала с помощью специального заземляющего проводника, а не только через болты стойки.
- Убедитесь, что сетка связана со строительной сталью и основной системой заземления электродов как минимум в двух точках.
- Избегайте изолированных наземных сосудов в приложениях центров обработки данных, если это не требуется инструкциями производителя, поскольку они могут создавать потенциальные различия между шасси оборудования и эталонной сеткой.
- Используйте тестировщик наземного сопротивления ежегодно, чтобы проверить, что сопротивление от любой рамы шкафа до основного грунта ниже 0,1 Ом при 60 Гц.
Стратегия вторая: управление кабелем и разделение
Плохое управление кабелем является наиболее распространенной и наиболее предотвратимой причиной проблем с ЭМИ в операционных центрах обработки данных. Когда силовые кабели и кабели данных маршрутизируются в одних и тех же дорожках или кабельных лотках, электромагнитная связь почти неизбежна. Магнитное поле вокруг силового кабеля, несущего импульсные токи от коммутационного источника питания, вызывает токи общего режима в соседних кабелях данных. Эти токи общего режима ухудшают целостность сигнала и могут вызвать ошибки бита в приемнике.
Расстояния разделения
Отраслевые стандарты, такие как TIA-942 и BICSI-002, обеспечивают конкретное руководство по разделению кабелей. Общее правило заключается в том, что неэкранированные кабели данных должны поддерживать минимальное разделение на 2 дюйма от силовых кабелей, несущих менее 20 ампер, и 6 дюймов для кабелей, несущих более 20 ампер.] На практике эти расстояния должны быть увеличены, когда кабели данных маршрутизируются параллельно с силовыми кабелями для расширенных пробегов. Параллельные пробеги более 10 футов должны добавлять 1 дюйм разделения на каждые дополнительные 10 футов.
Пересекающиеся силовые кабели и кабели данных под углом 90 градусов приемлемы и не требуют разделения, при условии, что перекрёсток чистый и кабели не сложены вместе. Магнитное поле сцепления пропорционально длине параллельного воздействия; перпендикулярное скрещивание имеет по существу нулевую сцепку.
Щитовые кабели и соединители
Щитная витая пара (STP) кабель с правильно выключенными разъемами обеспечивает 20-30 дБ дополнительного иммунитета по сравнению с неэкранированной витой парой (UTP), но только если щит заземлен на обоих концах, и разъем достигает непрерывности экрана на 360 градусов. Многие установки используют кабель STP, но заканчивают его с помощью вилок UTP, эффективно отрицая преимущество экранирования. При использовании экранированной кабеля щит должен быть прикреплен к поверхности шкафа на панели патча и к поверхности оборудования в конечной точке. Закрытие щита должно быть проверено с помощью тестера непрерывности перед вводом в эксплуатацию любого критического соединения.
Для волоконно-оптических кабелей EMI не является проблемой для самого волокна, но электроника на каждом конце остается восприимчивой. Волоконно-медные медиапреобразователи являются частым источником проблем EMI, потому что они часто работают с недостаточной фильтрацией на медной стороне. Медиапреобразователи должны быть указаны с интегральной фильтрацией EMI и металлическими корпусами, которые обеспечивают эффективность экранирования не менее 20 дБ при 100 МГц .
Стратегия третья: Фильтрация EMI для силовых и сигнальных путей
Фильтры являются второй линией защиты после заземления и управления кабелем. Фильтр EMI представляет собой пассивную сеть конденсаторов и индукторов, предназначенных для пропускания низкочастотной мощности или энергии сигнала при ослаблении высокочастотного шума. В приложениях центров обработки данных фильтры используются на входах питания переменного тока в оборудование, на распределении мощности постоянного тока внутри шкафов и на сигнальных линиях для датчиков и схем управления.
Фильтры Power Line
Каждый элемент оборудования, который подключается к сети переменного тока, должен иметь контролируемое импеданс к источнику питания. Большинство качественных источников питания включают внутреннюю фильтрацию, но в средах с высоким уровнем ЭМИ внешние фильтры на уровне стойки могут обеспечить дополнительное затухание. Типичный однофазный ЭМИ фильтр обеспечивает 40-60 дБ затухания в режиме общего режима выше 150 кГц . Эти фильтры должны быть установлены как можно ближе к оборудованию, которое они защищают, в идеале в пределах 12 дюймов от входа источника питания.
Для трехфазного распределения мощности в крупных центрах обработки данных, гармонические фильтры и активные кондиционеры питания могут смягчить выбросы от ИБП и больших кластеров серверов. Эти устройства уменьшают общее гармоническое искажение (ТДД) и предотвращают распространение коммутационного шума по всей электрической распределительной системе объекта.
Фильтры сигнальной линии и ферриты
Для сигнальных кабелей, которые не могут быть перемещены от источников шума, ферритовые удушья обеспечивают простое и экономичное решение фильтрации. Ферритовые бусины подавляют высокочастотные токи общего режима, представляя резистивный импеданс на нежелательной частоте. Выбор ферритового материала зависит от диапазона частот помех: никель-цинковые ферриты эффективны выше 10 МГц, в то время как ферриты марганца-цинка лучше подходят для частот между 100 кГц и 10 МГц.
Для максимальной эффективности ферриты должны размещаться на исходном конце кабеля (где генерируется помеха) или на конце жертвы (где помеха поступает в чувствительное оборудование).Множественные витки кабеля через ферритовое ядро увеличивают импеданс квадратом числа витков, поэтому кабель, пройденный через ферритовое ядро, в три раза представляет в девять раз импеданс одного прохода.
Для постоянно установленных сигнальных кабелей встроенные сигнальные фильтры с коннекторизованными корпусами обеспечивают более предсказуемую производительность, чем зажимные ферриты. Эти фильтры включают фильтрацию в обычном режиме и дифференциальном режиме и доступны для различных интерфейсов сигналов, включая RS-485, Ethernet и аналоговые входы датчиков.
Стратегия четвертая: разработка оборудования и зонирование
Физическое расположение оборудования в центре обработки данных оказывает непосредственное влияние на окружающую среду ЭМИ. Оборудование, которое генерирует высокие уровни излучаемых выбросов, должно быть физически отделено от оборудования, которое является наиболее чувствительным. Этот принцип, известный как электромагнитное зонирование , хорошо зарекомендовал себя в военных и аэрокосмических приложениях, но часто упускается из виду в коммерческих центрах обработки данных.
Создание зон EMI
Начните с классификации всего оборудования на три категории: источники с высоким уровнем выбросов (инверторы ИБП, блоки распределения мощности с коммутационными преобразователями, большие приводы для охлаждения), чувствительные жертвы (хранящиеся массивы, сетевые коммутаторы, серверные материнские платы) и нейтральное оборудование (пассивные патч-панели, распределительные волокнистые рамы, управление кабелем). Источники с высоким уровнем выбросов должны быть размещены в специализированных шкафах или зонах не менее 10 футов от чувствительного оборудования. Если физическое разделение невозможно, оборудование с высоким уровнем выбросов должно размещаться в экранированных корпусах, которые обеспечивают по меньшей мере 40 дБ затухания при 1 ГГц.
На практике это означает размещение систем ИБП и трансформаторов ПДУ в отдельном электрическом помещении, когда это возможно, а не в той же открытой зоне пола, что и серверные шкафы. Если оборудование ИБП должно быть скоординировано с серверами, оно должно быть размещено в конце строки с металлическим барьером между зоной ИБП и зоной сервера . Барьер должен быть присоединен к опорной сетке сигнала в нескольких точках для обеспечения эффективного экранирования.
Размещение кабинета и соображения вентиляции
Кабины, содержащие оборудование с высоким уровнем выбросов, должны быть расположены по периметру пола центра обработки данных, а не в центре. Это позволяет излучаемой энергии рассеиваться по направлению к стенам, а не соединяться с соседними шкафами. Расстояние между рядами шкафов должно следовать опубликованным рекомендациям. Как правило, минимум 4 фута между передними рядами и 3 фута между задними рядами — чтобы обеспечить как воздушный поток, так и электромагнитную изоляцию.
Вентиляционные отверстия в дверях шкафов и панелях могут ставить под угрозу эффективность экранирования, если они превышают установленные производителем пределы. Любое отверстие, большее, чем 1/20 длины волны интерферирующей частоты, может выступать в качестве слот-антенны. Для частот до 1 ГГц это означает, что отверстия должны быть меньше, чем 0,6 дюйма. Перфорированные двери с диаметром отверстия менее 0,5 дюйма и коэффициентом заполнения (процентом открытой площади) менее 40% обычно поддерживают адекватное экранирование, обеспечивая достаточный поток воздуха.
Стратегия пятая: Экологическое щитование и дизайн клеток Фарадея
Когда источники ЭМИ являются внешними по отношению к ЦОД, или когда внутренние выбросы настолько серьезны, что зонирование и фильтрация недостаточны, может потребоваться структурное экранирование. Защищенное вольерное покрытие, обычно называемое клеткой Фарадея, создает объем, который изолирован от внешних электромагнитных полей. В ЦОДах это обычно достигается облицовкой стен, полов и потолков проводящими материалами и обеспечением электрической непрерывности по всем швам.
Материалы и строительство
Наиболее распространенным строительным материалом для экранирования ЦОД является оцинкованный стальной лист толщиной 14-16 манометров, установленный с перекрывающимися швами и проводящими прокладками на всех соединениях. Медная сетка, встроенная в стену, является альтернативой для применения в модернизации, где сталь не может использоваться. Для эффективности экранирование должно распространяться по всем шести сторонам комнаты, включая пол и потолок. Проникновение для кабелей, воздуховодов и труб являются наиболее распространенными точками отказа экранирования и должны обрабатываться с помощью волноводов-за пределами отсека или проводящих прокладок.
Для существующих объектов, где экранирование в полном помещении нецелесообразно, экранированные шкафы оборудования обеспечивают локализованную альтернативу. Хорошо спроектированный экранированный шкаф обеспечивает 40-60 дБ затухания до 1 ГГц, достаточное для защиты одной стойки оборудования от внешних помех. В этих шкафах используются прокладки из бериллия медного приклада на всех дверях и швах панелей, фильтрованные панели входа питания и инженерные пробития для входа в кабель.
Тестирование эффективности щита
Эффективность щита должна проверяться после установки и периодически после этого. Стандартный метод испытаний, IEEE 299-2006, использует передающую антенну за пределами корпуса и приемную антенну внутри для измерения затухания на нескольких частотах. Ключевые частоты для тестирования центров обработки данных включают 100 кГц (гармонии силовой линии), 1 МГц (шум переключения питания), 100 МГц (FM-трансляции и беспроводные полосы) и 1 ГГц (сотовые и Wi-Fi полосы). Затухание должно превышать 40 дБ на всех тестируемых частотах для экранированной комнаты общего назначения и 60 дБ для приложений с высокой степенью безопасности.
Рекомендуется ежегодное или полугодовое тестирование, поскольку эффективность защиты ухудшается с течением времени из-за сжатия дверной прокладки, коррозии в швных соединениях и модификаций проникновений на объект. Простое качественное испытание с использованием зонда ближнего поля и анализатора спектра может идентифицировать точки утечки без затрат на полное тестирование IEEE 299 и должно быть выполнено после любой модификации объекта.
Стратегия шестая: экологический контроль и мониторинг
Факторы окружающей среды, такие как влажность, температура и загрязнение твердыми частицами, взаимодействуют с EMI способами, которые часто недооцениваются. Низкая влажность увеличивает накопление статического заряда, который может разряжаться, поскольку широкополосные события EMI, которые нарушают близлежащую электронику. Высокая температура ускоряет деградацию защитных прокладок и конденсаторов фильтра. Проводящая пыль и металлические частицы могут создавать непреднамеренные пути тока, которые направляют EMI в чувствительные цепи.
Влажность и статический разряд
Поддержание относительной влажности между 40% и 60% имеет решающее значение для управления электростатическим разрядом (ESD). При уровнях влажности ниже 30% статические заряды могут накапливаться до нескольких киловольт на персонале и оборудовании, и полученный разряд генерирует широкополосный электромагнитный импульс, который может повредить данные или схемы ввода повреждений. Системы увлажнения должны быть спроектированы так, чтобы избежать введения проводящей влаги в оборудование, что создает собственный набор проблем с надежностью.
Статические диссипативные напольные покрытия и ремни на запястьях необходимы в районах, где влажность не может поддерживаться в пределах целевого диапазона. Напольные покрытия должны иметь сопротивление к земле между 1 мегом и 100 мегомами , достаточно высокое, чтобы ограничить ток разряда, но достаточно низкое, чтобы кровоточить статический заряд, прежде чем он может накапливаться до опасных уровней.
Мониторинг событий EMI
Постоянный мониторинг ЭМИ становится все более распространенным в критически важных центрах обработки данных. Сеть широкополосных полевых зондов, размещенных в стратегических местах вблизи основных источников питания, по периметру серверного этажа и рядом с чувствительным оборудованием, может обеспечить видимость в реальном времени в электромагнитной среде. Эти зонды обнаруживают как проводимые, так и излучаемые ЭМИ и могут вызывать оповещения при превышении пороговых значений.
Современные системы мониторинга регистрируют уровни ЭМИ с течением времени, позволяя операторам соотносить события с изменениями оборудования, действиями по техническому обслуживанию или внешними событиями, такими как удары молнии. Эти исторические данные бесценны для диагностики периодических проблем, которые в противном случае могли бы быть связаны с программным обеспечением или проблемами конфигурации. Некоторые системы могут даже идентифицировать конкретную частотную сигнатуру неисправного источника питания или вентилятора охлаждения, что позволяет прогнозировать техническое обслуживание до того, как сбой вызовет сбой.
Интеграция мониторинга EMI с платформой управления инфраструктурой здания (BMS) или центра обработки данных (DCIM) обеспечивает унифицированное представление условий окружающей среды. Операторы могут устанавливать пороговые значения и получать автоматические оповещения для таких условий, как поддерживаемые уровни EMI, превышающие 10 В / м на частотах выше 1 МГц, или переходные события, превышающие 100 В / м, на любой период времени более 1 микросекунды.
Стратегия седьмая: выбор оборудования и закупки
Многие проблемы ЭМИ можно предотвратить на этапе закупок, указав оборудование с проверенной электромагнитной совместимостью (ЭМС). Каждая часть оборудования, установленная в центре обработки данных, должна иметь маркировку СЕ с соблюдением директивы EMC или, для рынка США, FCC Часть 15 соответствия в качестве цифрового устройства класса А . Пределы класса А менее строгие, чем пределы класса В (потребительское устройство), но они подходят для коммерческих и промышленных сред.
Однако одних только маркировки соответствия недостаточно. Заявленные заводами-изготовителями показатели ЭМС часто измеряются в идеализированных условиях, которые не отражают реальную среду установки. Организации, эксплуатирующие критическую инфраструктуру, должны рассмотреть вопрос о том, чтобы требовать от аккредитованных лабораторий представляемых изготовителями отчетов об испытаниях ЭМС , показывающих уровни проводимых и излучаемых выбросов в диапазоне частот, представляющих интерес.
Для оборудования, которое будет установлено в зонах с высоким ЭМИ или вблизи чувствительных нагрузок, определение фильтрации EMI военного класса (MIL-STD-461) или эквивалентных промышленных стандартов, таких как EN 61000-6-2 для иммунитета , обеспечивает дополнительную защиту.
Спецификации качества мощности
Поставки питания должны быть указаны с входным гармоническим искажением ниже 5% THD и коррекцией коэффициента мощности (PFC), которая поддерживает коэффициент мощности почти единицы в полном диапазоне нагрузки. Активные конструкции PFC предпочтительнее пассивных PFC, поскольку они активно формируют форму входного тока, значительно уменьшая гармоники, которые соединяются в соседнее оборудование.
Для оборудования с питанием от постоянного тока рябь напряжения должна быть указана в процентах от номинального напряжения. Риппл не должен превышать 1% пика к пику при любом рабочем состоянии . Более высокие уровни ряби могут вызвать синхронизацию на цифровых схемах и снизить эффективное отношение сигнал-шум на каналах передачи данных.
Дорожная карта и приоритеты
Ни один центр обработки данных не может реализовать все эти стратегии одновременно, и лишь немногие объекты нуждаются в каждом описанном здесь вмешательстве. Ключ заключается в том, чтобы соответствовать уровню управления EMI к критичности оборудования и серьезности электромагнитной среды. Стойка серверов разработки в выделенной лаборатории имеет разные требования, чем кластер производственных баз данных в совместно используемом объекте колокейшн.
Следующие принципы приоритизации помогают операторам эффективно распределять ресурсы:
- Первый приоритет: Корректировка недостатков заземления и связывания. Никакое другое вмешательство не может компенсировать плохую ссылку на грунт.
- Второй приоритет: Управление адресными кабелями и разделение. Это наиболее экономически эффективное вмешательство и дает немедленное измеримое улучшение.
- Третий приоритет: Установите фильтрацию на питающих каналах и кабели критических сигналов, где разделение невозможно.
- Четвертый приоритет: Реорганизовать компоновку оборудования для создания разделения между источниками шума и чувствительным оборудованием.
- Пятый приоритет: Внедрение структурного экранирования для конкретных зон или шкафов, где уровни EMI остаются проблематичными после первых четырех шагов.
- Шестой приоритет: Развернуть непрерывный мониторинг для отслеживания уровней ЭМИ и проверки эффективности предыдущих вмешательств.
Вывод: Управление ЭМИ как непрерывная практика
Управление электромагнитными помехами в центрах обработки данных и серверных комнатах — это не разовая проектная задача, а непрерывная операционная дисциплина. Электромагнитная среда меняется с каждым обновлением оборудования, каждым изменением маршрутизации кабелей и каждой модификацией электрической или механической инфраструктуры объекта. То, что было тихой установкой два года назад, теперь может быть шумной средой после добавления кластеров GPU или высокочастотных торговых серверов.
Наиболее устойчивые центры обработки данных рассматривают управление EMI как неотъемлемую часть своих инфраструктурных операций, с документированными процедурами, обученным персоналом и доступом к диагностическим инструментам, таким как анализаторы спектра, зонды ближнего поля и тестеры на сопротивление.Регулярные проверки целостности заземления, разделения кабелей и непрерывности экранирования должны быть запланированы наряду с другими рутинными задачами обслуживания.
Реализуя стратегии, изложенные здесь— надлежащее заземление и склеивание, дисциплинированное управление кабелями, стратегическая фильтрация, продуманная компоновка оборудования, защита окружающей среды, постоянный мониторинг и информированные закупки оборудования—организации могут достичь уровней надежности и производительности, которые требуют современные цифровые операции. Инвестиции в управление EMI окупаются много раз за счет сокращения простоев, более длительного срока службы оборудования и меньшего количества загадочных сбоев, которые тратят инженерные часы на бесплодное устранение неполадок.
Для дальнейшего чтения по стандартам управления EMI, проконсультируйтесь с IEEE 299-2006 для тестирования эффективности экранирования , BICSI-002 стандарт проектирования центров обработки данных , или TIA-942 стандарт телекоммуникационной инфраструктуры . ITU-R SM.2157 стандарт также предоставляет полезные рекомендации по оценке электромагнитной среды в чувствительных объектах.