Table of Contents
הכירו את שיטת 5 הסיבות בהנדסת נתונים
מרכזי נתונים יוצרים את עמוד השדרה של תשתיות דיגיטליות מודרניות, אירוח יישומים קריטיים, אחסון נתונים רגישים, ומאפשרים תקשורת בזמן אמת, בסביבה כזו, אפילו תקופות קצרות של זמן השבת יכול לתרגם להפסדים פיננסיים משמעותיים, נזקי מוניטין, ופגיעות אבטחה.צוותים להנדסה האחראים על שמירה על אמינות מרכז הנתונים חייב להיות מודע בזיהוי וחיסול הסיבות לכישלונות.
מקור ואבולוציה של 5 הסיבות
שיטת 5 הסיבות התפתחה בשנות ה-30 כחלק מהגישה של טויוטה לפתרון בעיות.Sakichi Toyoda, מייסד טויוטה תעשיות, האמין כי הדרך המהירה ביותר לשורש אמיתי מונחת בשאלה שאלות פשוטות ופתוחות עד שהיחסים בין סיבה ותוצאה הפכו ברורים.השיטה הייתה מאוחר יותר על ידי טאיצ'י אואנו, האדריכל של מערכת הייצור של טויוטה, שתיארה את זה כ"בסיס של הגישה המדעית של טויוטה היא לעתים קרובות יותר, אם היא שאלה פשוטה יותר של חמש נקודות עיקריות?"
במהלך העשורים, 5 הסיבות להתפשט מעבר לייצור הרכב.זה מצא יישום בניתוח שורש בריאות, עריכת קוד זדוני, מערכות ניהול איכות (ISO 9001), ופעולות מרכז נתונים היום, זהו כלי סטנדרטי בניהול אירוע ITIL והוא לעתים קרובות נלמד כחלק מ-FLT:0ASQ של ניתוח שורש תוכנית לימודים FLT:1.
כיצד פועל חמשת הסיבות: מדריך שלב-בי-צעד
שלב 1: § § , ברור
התחל עם הצהרה ספציפית, בעיות בולטות.להימנע תיאורים מעורפלים.לדוגמה, במקום " ביצועי שרת זה רע", אומר "Server XYZ ב rack A23 חוו מנעול קשה בשעה 02:34 UTC, מה שגורם להפרעות שירות שלוש דקות". הצהרה מדויקת מתמקדת בחקירה ומונעת את היקף הזיוף.
שלב 2: להרכיב את הצוות הנכון
כולל אנשים שיש להם ידע ממקור ראשון של הכישלון - מנהלי המערכת, מהנדסי רשת, טכנאים, ולפעמים לעבד בעלי או מנהלים.מגוון של פרספקטיבה מפחית כתמים עיוורים ומגביר את הסיכוי לחשוף גורמים נסתרים.
שלב 3: שאל "למה?", ו-"תעד כל תשובה"
התחל עם הבעיה ולשאול מדוע זה קרה.תכתוב את התשובה לכך כבעיה חדשה ולשאול מדוע שוב.המשך עד שהצוות מגיע לנקודה שבה התשובה היא תהליך שבור, היעדר הכשרה, עיצוב לא מספיק או פער מדיניות - משהו שניתן לטפל בו לצמיתות.
שלב 4: לבדוק את שרשרת הקווקז
לאחר שתיעוד השרשרת, לעבוד אחורה מגורם השורש כביכול לבעיה המקורית.האם ההיגיון מחזיק? לדוגמה, אם שורש הסיבה הוא "לא התעוררה התראה כי סף המעקב נקבע באופן שגוי", תוכל להסביר מדוע זה יוביל להתמוטטות השרת? Verification מונע סיבתיות שקרית.
שלב 5: פיתוח ומימוש פעולות תגמול
ברגע שהסיבה השורשית מוסכמת, עיצוב אמצעי מניעה שמתייחס אליו ישירות. להימנע מפעולות שמטפלים רק בגורמים או בתסמינים.הפעולה התקינה צריכה להיות ספציפית, מוקצה לבעלים, ועוקבת אחר השלמתו.
החל את 5 הסיבות לכישלונות במרכז נתונים
מרכזי נתונים הם מערכות סוציו-טכניות מורכבות.כישלונות יכולים להיווצר בחומרה (אספקת חשמל, יחידות קירור, מערך אחסון), תוכנה (מערכות הפעלה, קושחה, שכבות תזמורת), גורמים אנושיים (שגיאות שינוי, פיקוח על תזמון), או תלות חיצונית (כוח מרענן, מובילי רשת) 5 שיטות מדוע מסייעות לקצץ את המורכבות הזו על ידי כך באמצעות אילץ שרשרת ליניארית של חשיבה אמיתית: דוגמה אמיתית בעולם:
תגית: Unexpected Network Switch Reboot
- (ב) ⁇ :0) ⁇ : ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
- (ב) מדוע #1?(ה) 1?(ה) 1?(המודול של אספקת החשמל של מתג דיווח על אובדן זמני של מתח קלט.
- מדוע 2?03:2?101 ,5 ;2 ,5 ;2 ,5 ;2 ,5 ; ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
- (ב) מדוע #3?03:5:03:03:5:03:2, PDU פורץ דרך בגלל הספייק הנוכחי המברשת כאשר עוד חלק של ציוד הופעל על גבי הזרם.
- [01:0] מדוע #4?10.10.10] ללוח ההפצה של הזרם לא היה רצף הפעלה מתואמת לעומסים כבדים.
- (ב) מדוע 5?BuildFLT:1) הליך ההגשה של המתקן לא היה מתועדו או נאכף; קבוצות בודדות החלו לטעון ללא בדיקה של תיק.
במקרה זה, שורש הסיבה אינו טיול PDU או זרם המברשת - זה היעדר הליך פורמלי של כוח-up עם עומס ריצוף ריצוף. פעולות תיקון יכול לכלול יצירת פרוטוקול סטארט-אפ, התקנת האזעקות הנוכחיות-המגרעות ברמת הפאנל, ואימון כל הצוותים כדי לעקוב אחר ההליך.
שילוב של 5 למהות עם מסגרת של Data Center Reliability
(הפועלים של מרכז הנתונים המוצלחים משלבים את 5 הסיבות לשיטות אמינות רחבות יותר.לדוגמה, את ה-FLT:0Site Reliability Engineering (SRE) Reliability Engineering) (SRE) , ראשי תיבות של 5) משתמשים בקרנות שלאחר זיכרון וטעויות חסרות אשמה (SRE) מכיוון שהוא מתמקד בנושאים מערכתיים ולא בהאשמות באופן דומה, ה-LTF:2ITREFIRSTIRED) שימושים ב-DIQ (המודלים ב-DIF) הוא מספריים (המודלים של 5) הוא מספריים של 5: 3.
עבור כישלונות מורכבים הכרוכים בשגיאה אנושית, עיצוב ממשק או התמוטטות תהליכים, מודל הגבינה של ריבוע:0Swis מודל FLT:1 יכול להשלים את 5 למהות, בעוד 5 למהות מניב שרשרת שורש יחיד, מודל הגבינה השוויצרית מעלה את כמות השכבות מרובות של הגנה נכשל בו זמנית.שלב את שתי הגישות נותן הבנה עשירה יותר.
היתרונות של שימוש ב-5 הסיבות להנדסת נתונים
מהירות וסיפוק
מפגש 5 למהות בדרך כלל לוקח 15-30 דקות.בסביבה הנדסית עתירה גבוהה שבה אירועים דורשים טריאזון מהיר, מהירות זו אינה ניתנת לערעור.השיטה אינה דורשת כלים מיוחדים - לוח לבן, מסמך משותף, או אפילו נייר הוא מספיק.
עלויות-אווירה
מכיוון ש-5 הסיבות מסתמכות על ידע קיים בתוך הצוות, אין זה עולה ישירות מעבר לזמן של המשתתפים. בהשוואה לשיטות וניתוח אפקטים (FMEA) או ניתוח עץ לקוי (FTA), אשר יכול לדרוש מנחנים ותוכנות ייעודיים, 5 הסיבות הוא כלכלי מאוד עבור אירועים שגרתיים.
תרבות חסרת בושה
כאשר הוא מיושם כראוי, 5 הסיבות עוזר לשנות להתמקד "מי עשה את זה לא בסדר" כדי "מה במערכת אפשר לזה לקרות" שינוי תרבותי זה מעודד דיווח, מפחית פחד מעונש, ומגביר את הנכונות לחלוק ליד הכניעה - כולם מחזקים את האמינות הכללית.
מונעים החלמה
על ידי התייחסות לסיבות שורש ולא לסימפטומים, 5 הסיבות שוברות את מחזור האירועים החוזרים.לדוגמה, תיקון פיקוח תחזוקה מתוכנן (הסיבה השורשית מדוגמה קודמת) מונע לא רק את הכישלון הקירור הספציפי, אלא גם כל כשלים אחרים שעלולים לנבוע מאותו פער תזמון.
מלכודות נפוצות וכיצד להימנע מהם
למרות הפשטות שלו, שיטת 5 הסיבות יכולה להביא תוצאות מטעות אם לא נעשה שימוש בזהירות בצוותים להנדסה צריך להיות מודע לכמה מלכודות:
לעצור מוקדם מדי
לעתים קרובות הצוותים עוצרים לאחר שתיים או שלוש "למה", הקובעת סיבה טכנית (למשל, "גרסה הקושחה הייתה מיושנת") כאשר שורש שורש אמיתי עלול להיות כשל תהליך (למשל, "מדיניות העדכון הקושחה לא נאשמה") מאמנים כדי להמשיך לשאול עד התשובות נקודות לתהליך, למדיניות או פערי אימונים.
אישור Bas
אם לצוות כבר יש השערה, הם עשויים להיות בעלי שאלות כדי לתמוך בה.לדוגמה, אם כולם מאמינים שהבעיה היא פגם חומרה, הם עשויים לעצור ב"אספקת החשמל תקלה" מבלי להתפשר על כך שאספקת החשמל לא נבחנה לפני הפריסה.
חוסר ראיות
יש לבסס תשובות על עובדות בלתי ניתנות להשגה, לא הנחות.אם צוות אומר "הטכנאי שכח להדק את הבריח", לבקש יומני, צילום מצלמה או תוצאות בדיקה המאשרות את המצב השחרר.
טיפול בו ככלי יחיד
כמה כישלונות יש מספר סיבות שורש. 5 למה, על ידי עיצוב, מניח שרשרת ליניארית אחת.כאשר בעיה יש סיבות מקבילים, להשתמש מספר 5 למהשלאות צד אחד או לעבור לתאגרמת דגים.עבור בעיות במרכז נתונים כגון זרמי רשת שעשויות לכלול גם שגיאות כוח ותצורה, שרשרת אחת יכולה להיות מטעה.
שיטות יעילות 5 למהות במרכזי נתונים
- (FLT:0) ביצוע הכל בזמן אמת: לכידת 1:1 ותשובה כל שאלה ותשובה כפי שהם מדברים. השתמש בכלי משותף או ניהול אירועים שניתן להתייחס אליו מאוחר יותר. תיעוד טוב הופך ניתוח חד פעמי לידע ארגוני.
- צוותים של LT:0 (כוללים את המתקן ואת הצוות התפעולי: FIRLT:1 במרכזי נתונים, צוותי הנדסה ומתקני פועלים לעיתים ב-Silos.A כשל קירור עלול להיות גורם שורש בתזמון התחזוקה של המתקנים.
- (FLT:0)Combine עם יומני נתונים: FIRLT:1 השתמש בנתונים ניטור (חיישנים זמניים, יעילות השימוש בכוח, יומני אירועים) כדי לאמת כל תשובה. יומני נתונים מספקים ראיות אובייקטיביות לכך שזיכרון אנושי לא יכול לספק באופן אמין.
- (FLT:0) פעולות תיקון: לא כל שורש גורם השפעה שווה.חלק דורשים שינויים יקרים תשתית (למשל, שדרוג אספקת כוח), אחרים תהליכים פשוטים תיקון (למשל, הוספת צעד טופס בקשה לשינוי) השתמש בניתוח עלות עלות-תועלת כדי לאשר מראש.
- (FLT:0) הקללוה: 1 לאחר יישום פעולה נכונה, לפקח על המערכת לתקופה סבירה כדי לאמת כי הכישלון לא חוזר.אם אותה בעיה מופיעה מחדש, לשחזר את ניתוח 5 למהות - ייתכן שהסיבה השורשית החמיץ.
שילוב 5 הסיבות עם כלי אחריות אחרים
דיג דיאמוקס (Ishikawa)
לבעיות עם מספר גורמים פוטנציאליים (למשל, בעיה של מערכת אחסון שיכולה להיות בשל רשת, דיסק, CPU או תוכנה), להתחיל עם דיאגרמת דגים לסערת המוח כל הקטגוריות האפשריות, ולאחר מכן להשתמש ב-5 למהות בתוך כל קטגוריה כדי לקדוח. גישה היברידית זו נפוצה בפרויקטים לשיפור איכות.
ניתוח עץ Fault Tree Analysis (FTA)
FTA משתמשת שערי בוזלק כדי מודל כמה כישלונות משלבים כדי לגרום לאירוע ברמה העליונה.בעוד מורכב יותר, FTA יכול לחשוף תלותיות ששרשרת 5 למהות עשויה להחמיץ (למשל, תרחיש שבו הכוח הראשי ו גנרטור הגיבוי חייב להיכשל) להשתמש ב-FTA לאירועים ביקורתיים גבוהים, ולהשתמש ב-5 הסיבות לניתוח ראשוני מהיר.
ניתוח Pareto Analysis
כאשר מתרחשים מקרים רבים, להתמקד 5 הסיבות לבעיות הנפוצות ביותר או היקרות ביותר קודם לכן, העיקרון Pareto (80/20 כלל) מצביע על כך ש-80% מהזמן יורד מ-20% מגורמי השורש. השתמש בנתונים כדי לזהות 20% קריטיים, ולאחר מכן ליישם את 5 הסיבות לכל אחד.
צמצום ההשפעה של 5 הסיבות על אמינות מרכז הנתונים
כדי להצדיק את ההשקעה בשיטה של 5 מדוע, מנהיגי הנדסה צריכים לעקוב אחר מדדים המוכיחים את יעילותו:
- זמן בין כשלים (MTBF): ההרחבה של MTBF עבור סוגי אירוע חוזרים חוזרת מעידה כי פעולות שורש הן עבודה.
- זמן לפתרון (MTTR): בעוד 5 הסיבות העיקריות למניעת מטרות, הבנה טובה יותר של שורש גורמים יכול גם להאיץ את פתרון בעיות עתידיות.
- (FLT:0) שיעור החזרה: FLT:1hiline a Return as the סימפטום בחלון זמן (למשל, 30 יום) לאחר ניתוח של 5 מדוע בוצע.
- (FLT:0) מספר מקריות עם שורש מחוספס: אימוץ תרבותי של 5 הסיבות ניתן למדוד על ידי אחוז התקריות שקיבלו כיסוי גבוה יותר RCA פירושו פחות כישלונות ללכת ללא בדיקה.
דוגמה אמיתית לעולם: כשל מערכת קירור במרכז נתונים היפר בקנה מידה
ספק ענן גדול חווה אזעקה חוזרת של טמפרטורה באחד מאיזור נתונים.בכל פעם, צוות המתקן הגדילה באופן זמני את מהירות המעריצים, אשר פתר את הסימפטום אבל לא עצר את התבנית. ניתוח של 5 מדוע הוא התאספו עם חברים מהמתקנים, בקרות הנדסה וצוותי תפעול:
- מדוע הטמפרטורה עלתה על הסף? / שסתום מים צ'ילד לא נפתח במלואו.
- מדוע השסתום לא נפתח במלואו? / Valve Actuator קיבל אות מתח נמוך.
- מדוע היה האות נמוך? – כבל פגוע בין הבקר לבין המתרגל הציג התנגדות.
- מדוע הכבלים נפגעו? – הכבלים הונחו במסלול ששימש מאוחר יותר לעבודה מכנית, והוא נמחץ.
- מדוע הכבלים ננקטו דרך אזור ללא הגנה? – ההתקנה המקורית לא הייתה מעקב אחר מפרט ההמראה, משום שהמפרט לא כלל את המסלול הזה.
שורש הסיבה: פער במפרט הכבל.הפעולות הפתניות כללו עדכון המפרט כדי לכסות את כל המסלולים האפשריים, לבדוק את כל הכבלים האחרים במקומות דומים, והוספת בדיקה פיזית במהלך ההתקנה העתידית.קצב החזרה לטמפרטורות ירד לאפס באולם הנתונים הזה.דוגמה זו ממחישה כיצד חמשת הסיבות לא יכולות לחשוף פער ספציפי לכך שלא היה מתייחס כלל לקצב הפיגור חוזר.
צוותים של הנדסה ב-5 למהות
אימוץ מוצלח דורש הכשרה ותרגול מכוונים.חשב בגישות הבאות:
להקות עם אירועים אמיתיים
השתמש בדוחות היסטוריים ממרכז הנתונים כמחקרי מקרה. לעבור את תהליך 5 למהות מבלי לחשוף את שורש האמת.Letצוותים לתרגל על בעיה של מדגם, ואז להשוות תוצאות עם הניתוח המקורי.זה בונה אמון וחושף שגיאות נפוצות.
שילוב של Event Managementflows
המנדט של ניתוח 5 למהות עבור כל P1 (ביקורת) ו- P2 (מג'ור) בתוך 48 שעות, גרף תבנית במערכת הכרטיסים המנחה את הצוות באמצעות השלבים.
יצירת ספריית שורש
כל ניתוח של 5 מדוע יש לאחסן במאגר נתונים לחיפוש.כאשר אירוע חדש מתרחש, מפעילי יכולים לחפש סימפטומים דומים ולראות אם גורם שורש כבר זוהה.
מסקנה: כלי פשוט לעולם מורכב
שיטת 5 הסיבות אינה דרך כלל פאןאצ'ה לכל האתגרים של אמינות מרכז הנתונים.כישלונות מורכבים עם גורמים תלותיים הדדית עשויים לדרוש כלים אנליטיים מתוחכמים יותר.עם זאת, עבור רוב המכריע של אירועים לא מתוכננים, 5 הסיבות מספקות מהיר, עלות-תועלת, ובאופן חיובי מבחינה תרבותית כדי לחשוף את הסיבה האמיתית מאחורי הכישלון.
כדי להתחיל, לבחור אירוע לאחרונה - באופן אידיאלי אדם קטן ללא השפעה רצינית - ולרוץ 15 דקות 5 למהות פגישה עם הצוות שלך. לתעד את השרשרת, לזהות שורש גורם, וליישם פעולה תיקון קטן אחד.סביר להניח תופתעו כמה תובנות עולה מתהליך פשוט כזה.
לקריאה נוספת על טכניקות ניתוח שורש, אתר הייצור של FLT:0Lean מציע מדריך נגיש של הנחיית 1 ל-5 למהות עם דוגמאות נוספות.עבור צלילה עמוקה יותר לתוך ניתוח אירועים והנדסת חוסן, לשקול את ה-FLT:2 מדריך השדה להבנת שגיאות האדם 3FLT על ידי סידני Dekker, אשר מספק הקשר על מדוע מודלים ליניאריים לעתים צריך להיות משלים עם מערכות חשיבה.