عدم إجراء تحليل لنظم الطاقة في حالات الطوارئ في مراكز البيانات

مقدمة

وتشكل مراكز البيانات العمود الفقري للاقتصاد الرقمي الحديث، وتسكن الخواديم، وتخزنها، ومعدات الربط الشبكي التي توفر خدمات سحابة الطاقة، والمعاملات المالية، ونظم الرعاية الصحية، ومنابر الاتصال، وتُعتبر العمليات غير المتقطعة لهذه المرافق غير قابلة للتفاوض، ويُعتبر الخطر الأكثر أهمية بالنسبة إلى الوقت الذي يستغرقه فقدان القدرة، وتتسبب نظم الطاقة في حالات الطوارئ في وجود مولدات احتياطية، وإمدادات طاقة غير قابلة للتداول، ومصارفقودات البطاري،

ووفقاً لـ [[التحليل السنوي لنهاية الخدمة]، فإن الحوادث المتصلة بالطاقة تظل السبب الرئيسي في انقطاع مراكز البيانات، إذ تمثل نحو 30 إلى 40 في المائة من جميع الأحداث المبلغ عنها، وفي هذه الفئة، فإن الفشل في نظم الدعم - ولا سيما المولدات الكهربائية وأجهزة الإمداد بالكهرباء - كثيراً ما يكون المذنب الرئيسي، فهماً لفشل هذه النظم وكيفية منع تلك الإخفاقات من جانب مديري المرافق.

العناصر الحاسمة لنظم الطاقة في حالات الطوارئ

وقبل أن يتحول إلى أساليب للفشل، يساعد على كسر الهيكل النموذجي لنظام الطاقة في حالات الطوارئ في مركز البيانات، ويشمل نظام الطاقة الكهربائية المصمم تصميما جيدا طبقات متعددة من حالات التكرار، وعدة نظم فرعية متميزة:

Utility Feed:] The primary power source, often from two independent substations for redundancy.
Automatic Transfer Switch (ATS): ] Detects utility loss and transfers the load to the supportive electricity.
Diesel or Natural Gas Generators:] Provide long-termback power ( hours to days) until utility is restored.
Uninterruptible Power Supply (UPS):] bridges the gap between utility failure and birthup (typically 10-30 seconds) using stored energy in batteries or flywheels. Also conditions power against sags, fls, and harmonics.
Battery Banks:] Store electrical energy for the UPS; commonly lead-acid (VLA or VRLA) or increasingly lithium-ion.
]Distribution and Switchgear:] Routes power from the UPS to critical loads through power distribution units (PDUs) and remote power panels (RPPs).
Fuel Storage and Delivery Systems:] For births, including day tanks, bulk storage, pumps, and fuel polishing systems.

وكل عنصر من هذه المكونات له ملفه الخاص بالفشل، والتفاعل بينها يمكن أن يؤدي إلى إخفاقات متتالية.

الأسباب المشتركة لفشل نظام الطاقة في حالات الطوارئ

ويمكن تصنيف الإخفاقات في نظام تحديد المواقع في عدة فئات عامة: الميكانيكية، والكهربائية، والبطارية، والخطأ البيئي، والإنساني، والأخطاء المنطقية المتعلقة بالبرمجيات/التحكم.

الفشل الميكانيكي في المولدات الكهربائية

ومولدات الديزل هي آلات معقدة تضم مئات القطع المتحركة، وتشمل أهم حالات الفشل الميكانيكي ما يلي:

Cooling system failures:] Radiator fan belt breakage, coolant leaks, or thermostat malfunctions cause overheating and automatic shutdown.
Fuel system faults:] Clogged fuel filters, air in fuel lines, fuel pump failure, or contaminated fuel (water, microbial growth) starve the motor.
Lubrication issues:] Low oil pressure from leaks, worn oil pumps, or incosity incosity can trigger closures.
Exhaust system blockages:] Inadequate ventilation or backpressure from damaged mufflers affects performance.
Starter motor or bat failure:] If the starting system fails, the electricity cannot crank.

وتشير الإحصاءات الواردة من شعبة الطاقة الكهربائية في الكاتيربلر إلى أن معظم حالات فشل المولدات تحدث خلال الدقائق الأولى من التشغيل، وغالبا ما تعزى إلى مسائل كان يمكن أن تُمسك باختبارات وصيانات مصرفية حمولة سليمة.

الفشل الكهربائي في النظام الموحد للنقل والإمداد في قطاع الخدمات وفي قطاع التبديل

كما أن الفشل الكهربائي شائع أيضاً، وتشمل المسائل المشتركة ما يلي:

Capacitor degradation:] Electrolytic capacitors in UPS inverter stages dry out over time, leading to ripple, harmonics, and eventual failure.
Poor connections:] Loose or corroded terminals cause arcing, heat buildup, and voltage drops. This is especially common in altergear and PDUs.
Faulty wiring:] Improperly sized conductors, damaged insulation, or rodent damage can cause short circuits.
Static shift failures:] The static bypass shift in UPS systems can fail to transfer load during maintenance or fault conditions.
Control boardfunctions:] Logic cards, sensors, and communication modules may suffer from component aging or software fines.

فشل البطارية

وكثيرا ما تكون البطاريات أضعف صلة في سلسلة EPS، وتشمل أساليب فشلها ما يلي:

Capacity loss:] Over time, batteries lose their ability to hold a charge due to sulfation (lead-acid) or cell aging (lithium-ion).
Open cells or shorted cells:] In valve-regulated lead-acid (VRLA) batteries, thermal runaway or manufacturing defects can cause internal shorts.
Corrosion:] On terminals and intercell connectors, especially in high-humidity environments.
Water loss:] In vented lead-acid (VLA) batteries, insufficient watering leads to drying out and reduced capacity.
تخلف درجة الحرارة بسبب ارتفاع درجة الحرارة: Every 10°C above 25°C halves the lifetime of lead-acid batteries.

The Fluke Corporation[Fluke Corporation] notes that regular impedance testing and load testing can identify failing batteries months before they cause a UPS failure.

العوامل البيئية

وتبذل مراكز البيانات قصارى جهدها للحفاظ على بيئة خاضعة للمراقبة، ولكن مكونات مصادر القدرة البيئية غالبا ما تسكن في أماكن أقل سيطرة - أي فناء المولدات، أو الطوابق السفلية، أو الضيوف الخارجية.

درجات الحرارة القصوى: ] Both hot and cold extremes affect batemistry, motor starting, and fuel viscosity.
Humidity and condensation:]
Dust and particulate matter:] Clogs air filters, reduces cooling efficiency, and can cause tracking on high-voltage components.
Water ingress:] Leaking roofs, floods, or broken pipes can short-circuit electrical equipment.

وتتجاوز العديد من المرافق أهمية البيوتادايين السداسي الكلور وإغلاق الحرائق في غرف المولدات وأجهزة الإمداد بالطائرات، ويمكن أن يتراكم فشل واحد في التبريد إلى انقطاع كامل في نظام الطاقة الكهربائية.

الرعب البشري والألعاب الإجرائية

وعلى الرغم من ارتفاع مستويات التشغيل الآلي، لا يزال الخطأ البشري سبباً هاماً في حالات الفشل في النظام، ومن الأمثلة على ذلك ما يلي:

Improper maintenance:] Skipping scheduled oil changes, failing to replace air filters, or using the wrong fuel additives.
Incorrect testing procedures:] Running births without load or with insufficient load does not reveal many failure modes.
Misconfiguration of controls:] Setting incorrect voltage or frequency thresholds on ATS or UPS controls.
Accidental tripping of breakers:] During maintenance or while working on adjacent equipment.
Lack of training:] Operators who do not understand the system structure may take incorrect actions during an emergency.

The Schneider Electric Data Center Blog] emphasizes that up to 70% of data center outages are caused by human error, with a large portion related to power system management.

تقنيات تحليل الفشل لنظم الطاقة في حالات الطوارئ

ومن الأهمية بمكان إجراء تحليل منهجي للفشل لمنع تكراره، حيث تستخدم عدة منهجيات ثابتة في هذا المجال:

Root Cause Analysis (RCA)

ويمثل التقييم القطري الموحد عملية منضبطة تتجاوز الأعراض المباشرة لتكشف الأسباب الكامنة، وتشمل الخطوات النموذجية ما يلي:

Define the failure event in clear terms (loss of power, electricity failed to start, UPS transferred to bypass).
جمع جميع البيانات المتاحة: سجلات الأحداث، وتاريخ الإنذار، وسجلات الصيانة، وصور الفيديو، ومقابلات الشهود.
استخدام أداة تحليل سببي مثل " 5 أسباب " أو مخطط رسم بياني لصيد الأسماك لتتبع تسلسل الفشل.
تحديد السبب (السببات) الجذرية - التي قد تكون تقنية أو إجرائية أو تنظيمية.
وضع إجراءات تصحيحية تعالج الأسباب الجذرية، وليس الأعراض فحسب.
تنفيذ هذه الإجراءات والتحقق من فعاليتها.

فعلى سبيل المثال، إذا لم يبدأ مولد كهربائي أثناء انقطاع المرافق، قد يكشف تقييم المخاطر قبل الترحيل أن مرشح الوقود المستنسخ هو السبب المباشر، ولكن السبب الجذري يمكن أن يكون جدولا غير ملائم لتلميع الوقود، وسيكون الإجراء التصحيحي هو تنفيذ تلميع الوقود آليا وزيادة تواتر الاختبار.

Failure Mode and Effects Analysis (FMEA)

ويعد هذا الإطار أداة استباقية تستخدم أثناء التصميم أو عند تقييم النظم القائمة، ويشمل ما يلي:

إدراج كل عنصر وطرق فشله المحتملة.
تحديد درجة الشدة والحدث وتقديرات الكشف (من 1 إلى 10)
Calculating a Risk Priority Number (RPN = S x O x D).
(ج) تحديد أولويات أساليب الفشل التي لديها أعلى شبكة من البرامج المواضيعية للتخفيف من آثارها.

وفي مركز بيانات EPS، قد تحدد الوكالة وجود نقطة واحدة من الفشل في التحول الالتفافي الثابت لنظام البريد الإلكتروني، مما يؤدي إلى توصية بشأن تشكيلة موازية زائدة عن الحاجة.

تسجيل البيانات ورصدها

ومن الضروري رصد البارامترات الإلكترونية لتحديد المواقع في وقت مبكر للكشف عن الشذوذ، وتشمل نقاط البيانات الرئيسية التي يتعين تعقبها ما يلي:

Generator:] Oil pressure, coolant temperature, battage, fuel level, run hours, load percentage.
UPS:] Input/output voltage and frequency, load percentage, battage per string, internal temperature, capacitor health indicators.
ATS:] Position, voltage on both sources, transfer time.
Batteries:] Cell voltage, internal resistance, temperature, current during charge/discharge.

ويمكن لمنابر إدارة الهياكل الأساسية الحديثة لمراكز البيانات أن تجمع هذه البيانات وأن تحدد العتبات اللازمة للإنذارات، وتستخدم بعض النظم التعلم الآلي للتنبؤ بالفشل استنادا إلى الاتجاهات.

التفتيش الافتراضي والفيزيائي

وعلى الرغم من أن الرصد العالي التقنية قيّم، فلا شيء يحل محل التفتيش العملي، وينبغي للتقنيين المؤهلين أن يقوموا بعمليات تفتيش بصرية منتظمة من أجل:

الرف، الارتفاع، أو التسرب على خلايا البطارية.
تطابق في الحافلات، والمحطات، والروابط البرية.
إشارات للتسخين المفرط (العزلة الملتوية، البلاستيك المذوب، الرائحة المحروقة).
أحزمة اللووز، أحزمة الديدان، أو تسرب الغازات على المولدات.
فتحات مقفلة أو زعانف التبريد.

وينبغي أن يتم التصوير الحراري (مسح الأشعة تحت الحمراء) سنويا على الأقل على جميع الاتصالات الكهربائية أثناء الحمل، وتشير البقع الساخنة إلى نقاط مقاومة عالية ستفشل في نهاية المطاف.

التدابير الوقائية وأفضل الممارسات

ويتطلب منع حدوث إخفاقات في النظام الإلكتروني لتقييم الأداء نهجا شاملا يجمع بين التصميم والصيانة والاختبار وتدريب المشغلين، وتستمد التوصيات التالية من معايير الصناعة مثل معهد تايمز، ومؤشر TIA-942، وNFPA 110.

التصميم لإعادة التوحيد والاستمرارية

تنفيذ نظامين وطنيين أو رقم 1 للتجديد بالنسبة لوحدات النظام الموحد لتجهيز البيانات ومجموعات المولدات، مما يسمح بقطع وحدة واحدة عن الأنظار لأغراض الصيانة دون التأثير على الحمولة الحرجة.
نظم وقود التصميم ذات الدبابات المزدوجة والتبديل التلقائي بحيث يمكن خدمة صهريج واحد بينما تغذي الأخرى المولد.
ضمان أن تكون طرق توزيع الطاقة منفصلة مادياً لتجنب فشل كابل واحد في سلك الطريقين.
إدراج مفتاح لصيانة كل وحدة من وحدات الخدمة المدنية للسماح بالعزلة الكاملة دون انقطاع السلطة.

بروتوكولات الاختبارات الروتينية

ويجب أن يُحدث الاختبار ظروفاً حقيقية عن كثب قدر الإمكان:

] Generator load bank testing:] At least annually, births should be tested at 50%, 75%, and 100% of rated load for 1-2 hours each. This exposeing, fuel, and exhaust issues that do not appear during no-load runs.
Monthly power tests:] Run for 30 minutes under at least 30% load (using a load bank if necessary) to prevent wet stacking and keep seals lubricated.
() اختبارات التصريف بالبطارية: ] إجراء اختبارات فصلية للتصريف الجزئي (مثلاً، 30 في المائة عمقاً) واختبارات التفريغ الكامل السنوية للتحقق من فترات التشغيل الاحتياطية، واستخدام مصرف تحميل مناسب، وليس مجرد تحميل المرفق.
(أ) اختبار تحويل مسار الاختبارات: ] الاختبارات الشهرية لـ ATS، بما في ذلك عمليات فقدان التشغيل والعودة إلى التشغيل على حد سواء.
Simulated failures:] Conduct periodic “disaster drills” where operators intentionally kill the utility feed or a birth to verify automatic responses and operator actions.

إدارة البطارية الاستباقية

تركيب أجهزة مراقبة درجة حرارة البطاريات وضمان بقاء الغرفة بين 20 درجة مئوية و25 درجة مئوية.
تنفيذ جدول زمني لاستبدال البطاريات يستند إلى توصيات الصانع والوضع الفعلي (مثلاً، الاستعاضة عن نظام " VRLA " ذي الرصاص " كل 3-5 سنوات، أي ليثيوم -يون كل 10 سنوات - 12 سنة).
استخدام نظم رصد البطاريات التي تتبع كل خلية من الزنزانات وتفتت، وضع أجهزة إنذار للانحرافات التي تتجاوز 10 في المائة من خط الأساس.
النظر في إعادة استخدام البطاريات الليثيومية - الأسيون، التي لها حياة أطول، وتسامح أعلى في درجات الحرارة، وتحسين قدرات الرصد، وإن كانت تتطلب إدارة حرارية مناسبة لتجنب الركض الحراري.

Environmental Controls

تركيب نظم HVAC المخصصة للمولدات الكهربائية، و UPS، وغرف البطاريات مع وحدات التبريد الزائدة.
استخدام ضوابط الرطوبة للحفاظ على الرطوبة النسبية بين 40 و 60 في المائة للتقليل إلى أدنى حد من التآكل والتفريغ الثابت.
ضمان أن تكون لأجهزة كشف المولدات تهوية كافية لأجهزة الاحتراق والتبريد، وأن تكون مراوح العادم عاملة.

تدريب الموظفين وإجراءاتهم

وضع إجراءات تشغيل موحدة لكل عنصر من عناصر النظام، بما في ذلك البدء، والتوقف، والتجاوز في حالات الطوارئ.
تدريب مشغلي المعدات المحددة في المرفق، وليس مجرد مفاهيم عامة، بما في ذلك محاكاة عملية لتصورات فشل المرافق.
إجراء تدريب منتظم على تجديد المعلومات واختصاصات مشغل الوثائق.
Establish a clear escalation path for alarms and failures, with contact information for buyers and support engineers.

تنفيذ برنامج التحسين المستمر

ولا يشكل عدم إجراء تحليل لأحداث مرة واحدة، وينبغي أن تنشئ مراكز البيانات ثقافة التحسين المستمر عن طريق ما يلي:

Reviewing all power-related incidents and near-misses through a formal RCA process.
:: تتبع مؤشرات الأداء الرئيسية مثل حمولة المولدات المختبرة، ومعدلات تدهور القدرة على البطاريات، وكفاءة نظام الإبلاغ الموحد.
تحديث خطط الصيانة استنادا إلى بيانات الفشل ونشرات الصانعين.
المشاركة في منتديات الصناعة )مثل معهد التأقلم، ٧ x ٢٤ تبادلا( لتبادل أفضل الممارسات والتعلم من فشل الآخرين.

دراسات الحالة والدروس المستفادة

وقد كشفت الأمثلة على العالم الحقيقي عن أهمية تحليل الفشل الشامل، ففي حادث موثق جيدا في أحد مقدمي السحابات الرئيسية، فقد مركز البيانات الطاقة الكهربائية لأن خزان وقود واحد لمولد الديزل قد تلوث بالمياه، وقد كشفت المياه التي تم إدخالها أثناء تسليم الوقود بسبب فقدان غطاء الوقود في فتحة الصهريج، وخلال انقطاع الكهرباء في وقت لاحق، بدأ المولد ولكنه أغلق بعد ٣٠ ثانية بسبب تجويع الوقود - وقد استُخرجت المياه إلى بروتوكول الوقود R.

وثمة سيناريو مشترك آخر يتعلق ببطارات نظام البريد الموحد الذي يفشل خلال اختبار التصريف، لأن خلية ضعيفة واحدة تتحول إلى استقطاب عكسي، وفي مرفق من المستوى الثالث يضم وحدات نموذجية من نظام الإبلاغ الموحد N+1، ينبغي ألا يكون الاختبار الشهري الروتيني قد تسبب في انقطاع - ولكن لأن المشغلين لم يعزلوا بشكل سليم سلسلة الاختبارات، وسلسلة الفشل التي تدور عبر الوحدات الموازية، وهذا الدرس: يتبع دائما إجراءات العزل الصارمة ويكفل أن نظام الرصد يكتشف هو أمر خطير.

خاتمة

إن نظم الطاقة في حالات الطوارئ هي آخر خط دفاع ضد وقت تعطل مركز البيانات، وموثوقيتها هي وظيفة مباشرة تتمثل في نوعية التصميم، وتصلب الصيانة، وفعالية عمليات تحليل الفشل، ومن خلال فهم أساليب الفشل المشتركة - من فشل نظم التبريد في المولدات، وتدهور البطاريات إلى الحد من الأخطاء المنطقية والأخطاء البشرية - يمكن لمشغلي المرافق تنفيذ تدابير وقائية محددة الهدف.

وقد يبدو الاستثمار في برنامج شامل لتحليل الفشل باهظ التكلفة، ولكن بالمقارنة مع نفقات انقطاع كبير واحد - يمكن أن يتجاوز ٠٠٠ ٥٠٠ دولار في الساعة بالنسبة للمؤسسات الكبيرة - فهو أحد أكثر الخطوات فعالية من حيث التكلفة التي يمكن أن تتخذها المنظمة، وبمعاملة كل حادث من حوادث الطاقة كفرصة للتعلم وتطبيق التقنيات التي نوقشت في هذه المادة، يمكن أن تقلل مراكز البيانات بدرجة كبيرة من خطر فشل نظام الطاقة في حالات الطوارئ وأن تكفل بقاء الأضواء على الشبكة.