Растущий энергетический кризис в дата-центрах

Центры обработки данных являются невоспетыми столпами цифровой экономики, поддерживая все, от потоковых услуг до рабочих нагрузок корпоративных облаков. Тем не менее, их аппетит к электричеству ошеломляет. По данным Министерства энергетики США, центры обработки данных потребляют около 1-2% мировой электроэнергии, и эта доля растет, поскольку спрос на искусственный интеллект, 5G и краевые вычислительные приводы. В типичном объекте сетевое оборудование может составлять 10-20% от общего потребления энергии, большая часть которого тратится впустую в периоды простоя, когда ссылки активны, но нет данных. Стандарт IEEE 802.3az Energy-Efficient Ethernet (EEE) непосредственно решает эти отходы, позволяя сетевым интерфейсам снижать потребление энергии во время низкой активности без ущерба для целостности канала или вызывая заметные всплески задержки.

Как работает IEEE 802.3az: Технический фонд

EEE, ратифицированный как IEEE 802.3az в 2010 году, работает на физическом уровне (PHY) модели OSI. Он вводит механизмы для устройств Ethernet для входа в состояние маломощного холостого хода (LPI) при отсутствии данных для передачи. Стандарт применяется к витой паре медного и обратного Ethernet, включая 100BASE-TX, 1000BASE-T и 10GBASE-T, а также оптоволоконным вариантам, таким как 10GBASE-SR/LR.

Режим Low Power Idle (LPI)

Во время LPI передатчик перестает посылать обычные простаивающие сигналы и вместо этого посылает периодические сигналы обновления для поддержания синхронизации каналов. Частота обновления намного ниже, чем непрерывный шаблон простоя, используемый в обычном Ethernet, резко сокращая мощность, потребляемую передатчиком и приемником PHY. Для 10GBASE-T, например, PHY может войти в состояние сна, которое сокращает потребляемую мощность примерно с 4-6 Вт до менее 1 Вт.

Время пробуждения и задержка

Ключевым требованием проектирования EEE является то, что переход от LPI обратно в активный режим должен быть достаточно быстрым, чтобы избежать потери пакетов или неприемлемой задержки. Стандарт определяет время пробуждения менее 10 микросекунд для 1000BASE-T и менее 4 микросекунд для 10GBASE-T. На практике современный коммутационный кремний достигает субмикросекундных переходов. Эта скорость гарантирует, что EEE может быть развернута в производственных сетях без воздействия на приложения реального времени, такие как VoIP или финансовая торговля, при условии правильной инженерии сети.

Измерение энергосбережения в реальных развертываниях

Независимые исследования и тесты поставщиков подтвердили, что EEE обеспечивает значительное снижение мощности. В исследовательской работе 2021 года, опубликованной в IEEE Transactions on Green Communications and Networking, было обнаружено, что включение EEE на канале 10GbE в стойке центра обработки данных снизило среднее энергопотребление порта на 45-60% во время типичных шаблонов трафика. Для ссылок, которые простаивают более 80% времени — обычное в шиполистовых архитектурах для трафика восток-запад — экономия приближается к 90%.

В масштабе эти сбережения составляют. Центр обработки данных среднего размера с 10 000 портами 10 Гбит/с может сократить свой счет за сетевую энергию более чем на 80 000 кВт/ч в год, что эквивалентно примерно 60 метрическим тоннам выбросов CO2. Несколько крупных облачных провайдеров, включая Google и Microsoft, публично приписывают EEE помощь в достижении внутренних целей устойчивости.

Для дальнейшего чтения стандарт 802.3az-2010 подробно описывает механизм LPI, а руководство Национальной лаборатории Лоуренс Беркли по энергоэффективности центров обработки данных предоставляет лучшие практики для интеграции EEE в более широкие стратегии управления питанием.

Внедрение лучших практик для операторов центров обработки данных

Совместимость аппаратных средств и обновления прошивки

EEE поддерживается практически на всех современных серверных NIC и коммутаторах центров обработки данных от таких поставщиков, как Cisco, Arista, Juniper и Broadcom. Однако EEE должна быть явно включена на обоих концах линии связи; если одно устройство не поддерживается, ссылка возвращается к работе без EEE. Важно проверить, что все оборудование на пути, включая промежуточные патч-панели и типы кабелей, может обрабатывать сигналы обновления без деградации. Обновления программного обеспечения могут потребоваться для обеспечения последних состояний с низким энергопотреблением, особенно для более старых 10GBASE-T PHY.

Конфигурация и мониторинг

Сетевые администраторы должны тщательно включать EEE на агрегированных ссылках (LACP). В то время как EEE может использоваться на отдельных членах группы агрегации ссылок, общий алгоритм балансировки нагрузки может привести к тому, что некоторые ссылки останутся бездействующими, в то время как другие заняты. Использование EEE на всех участниках позволяет бездействующим ссылкам спать, но задержка пробуждения должна быть учтена в тайминг отказоустойчивости. Такие инструменты, как SNMP MIB и телеметрические потоки (например, sFlow, NetFlow) могут сообщать о состоянии EEE в каждом порту и подсчетах переходов, позволяя операторам количественно оценивать фактическую экономию энергии и обнаруживать неверные конфигурации.

Чувствительность применения

Для работы с задержкой, такой как высокочастотная торговля, аналитика в реальном времени или некоторые приложения промышленного контроля, может потребоваться отключение EEE по критическим ссылкам. Однако современные реализации EEE с субмикросекундным пробуждением вводят незначительный джиттер для большинства корпоративных приложений. Запуск контролируемых тестов трафика рекомендуется перед широким развертыванием.

Проблемы и ограничения

Одно ограничение заключается в том, что экономия энергии уменьшается по мере увеличения использования канала. На сильно используемых каналах (например, выше 70% в среднем) PHY проводит мало времени в LPI, поэтому общее снижение мощности является скромным. Кроме того, некоторые старые коммутаторы и NIC плохо реализуют EEE, вызывая разрывы канала или чрезмерные события пробуждения, которые фактически увеличивают потребление энергии. Стандарт также не касается потребления энергии в самой коммутационной ткани - только порт PHY.

Еще одна проблема заключается в совместимости между кабелями 10GBASE-T и SFP+ с прямым прикреплением меди (DAC). В то время как 10GBASE-T полностью поддерживает EEE, SFP+ DAC часто полностью обходят PHY и, следовательно, не могут использовать EEE. Менеджеры центров обработки данных, планирующие минимизировать мощность, должны предпочесть 10GBASE-T или оптические приемопередатчики с поддержкой EEE по сравнению с DAC для более длительного охвата.

За пределами меди EEE для оптического Ethernet (например, 25GbE, 40GbE, 100GbE) был стандартизирован в более поздних поправках (IEEE 802.3bj, 802.3bm). Они используют другой механизм, называемый «режим низкой мощности PHY», а не LPI, но принцип энергосбережения тот же.

Роль EEE в инициативах Green Data Center

Энергоэффективный Ethernet является ключевым компонентом более крупных зеленых ИТ-инфраструктур, таких как Кодекс поведения ЕС для центров обработки данных и программа EPA ENERGY STAR для оборудования центров обработки данных. Сокращение накладных расходов на электроэнергию сетевой инфраструктуры позволяет операторам распределять больше своей ИТ-нагрузки для вычислений и хранения, улучшая общую эффективность использования энергии (PUE). Кроме того, поскольку EEE снижает рассеивание тепла, это может снизить требования к охлаждению, создавая усугубляющий эффект на экономию энергии.

Для организаций, преследующих цели с нулевым выбросом углерода, интеграция EEE является шагом с низкой эффективностью и высокой отдачей. В отличие от замены серверов или модернизации систем охлаждения, включение EEE часто является изменением программного обеспечения или прошивки без капитальных затрат. Несколько поставщиков облачных услуг предлагают EEE в качестве настройки по умолчанию на виртуальных NIC и экземплярах голого металла, тихо принося пользу всем арендаторам.

За пределами 802.3az: Будущая защита с IEEE 802.3bz и 802.3cd

В отрасли продолжают развиваться энергосберегающие технологии. IEEE 802.3bz (2.5GbE и 5GbE) и IEEE 802.3cd (50GbE, 100GbE, 200GbE) включают механизмы энергоэффективности, которые основаны на принципах EEE, но оптимизированы для более высоких скоростей и более коротких расстояний. Например, 25GbE и 50GbE используют режим «тренировки с низкой мощностью» для снижения мощности во время простоя, с временем пробуждения менее 1 микросекунды. Эти более новые стандарты также поддерживают выключение подполосы, где отдельные физические полосы многополосной линии могут быть отключены, когда это не нужно.

По мере перехода центров обработки данных на топологии 25GbE/100GbE операторы должны планировать оптику с поддержкой EEE и PHY. Рабочая группа IEEE 802.3 продолжает совершенствовать энергоэффективность в каждой новой поправке, обеспечивая масштаб экономии электроэнергии с требованиями к пропускной способности. Проекты отраслевого отчета 2023 года, согласно которым широкое внедрение EEE следующего поколения может сократить глобальную энергию сети центров обработки данных на 30-40% к 2030 году.

Заключение

Энергоэффективный Ethernet IEEE 802.3az является проверенным, основанным на стандартах механизмом для сокращения потребления энергии в сетях центров обработки данных без ущерба для производительности. Разумно размещая неработающие порты в состояния с низким энергопотреблением и пробуждения их только при необходимости, EEE обеспечивает измеримое сокращение потребления электроэнергии, выбросов углерода и затрат на охлаждение. Стандарт широко поддерживается в современном оборудовании, прост в использовании и совместим почти со всей существующей инфраструктурой Ethernet. Для любой организации, приверженной операционной эффективности и экологической ответственности, EEE должна быть основополагающим элементом стратегии управления мощностью сети. По мере появления скоростей следующего поколения принципы, лежащие в основе 802.3az, будут продолжать развиваться, гарантируя, что Ethernet остается быстрым и экономичным.

Дополнительные ресурсы: Энергоэффективность центра обработки данных Министерства энергетики США и Комплексный обзор энергоэффективного Ethernet в центрах обработки данных (ScienceDirect, 2021).