Table of Contents
אינטליגנציה מלאכותית ולמידה של מכונה מעצבים במהירות את הנוף של בדיקות מערכת תוכנה, מעבר לאוטומציה פשוטה לאבטחת איכות חכמה, הסתגלותית. כמו מערכות תוכנה לגדול יותר ויותר מורכב, שיטות ידניות ותסריטאי נאבקות כדי לעמוד בקצב ההתפתחות וה רוחב של נקודות כישלונות פוטנציאליות. AI ו-ML מגבירים את היכולת לנתח כמויות עצומות של נתונים, ללמוד מתוצאות קודמות, והופכים את התחזיות לגבי איפה הם כנראה כדי לנתח את המנגנונים של בדיקות הדיוק של זיהוי מדויק זה.
הבנה של AI ו- Machine Learning בבדיקה
בינה מלאכותית כוללת מערך רחב של טכנולוגיות המאפשרות למכונות לחקות פונקציות קוגניטיביות אנושיות – למידה, חשיבה, פתרון בעיות וקבלת החלטות. Machine Learning, תת-קבוצה של AI, להתמקד באלגוריתמים שמאפשרים למערכות ללמוד דפוסים מהנתונים מבלי להיות מתוכנתים במפורש לכל תרחיש.בבדיקות תוכנה, טכנולוגיות אלה מוחלות למשימות שדורשות באופן מסורתי אינטואיציה ומאמץ ידני, כגון זיהוי מקרים של מבחן, תוצאות ניתוח, חיזוי וחיזוי תחומים פגומים.
ישנן שלוש קטגוריות עיקריות של למידת מכונה המשמשות בדרך כלל בבדיקות:
- (FLT:0) סופרוויסו למידה FLT:1 - מודלים מאומן על נתונים היסטוריים מתוייגים (למשל, דוחות באגים העבר ומדדי קוד) כדי לחזות תוצאות כגון סבירות פגומה או הסתברות מבחן.לדוגמה, מתווך ממעמד מבוקר יכול להיות מאומן על תכונות כגון מורכבות, שינוי תדירות, וחווית המחבר לחיזוי אשר הם כנראה להכיל באגים.
- (FLT:0) למידה בלתי מבוקרת (Unvised LearningFLT) 1 - אלגוריתמים מזהים מבנים נסתרים בנתונים שלא נלאו, כגון איסוף יומני ביצוע דומים של בדיקות או שילוב אינטראקציות UI לגילוי התנהגות בלתי צפויה.
- (FLT:0) למידה של כוח רצון למידה 1FLT (הסוכנים לומדים אסטרטגיות אופטימליות באמצעות ניסוי וטעייה, קבלת משוב מהסביבה.בבדיקות, ניתן להשתמש בלמידה חיזוק כדי ליצור באופן אוטומטי רצפים של פעולות הממקסמות את הכיסוי הקוד או למצוא את הדרך הקצרה ביותר לכישלון קריטי.
מעבר לקטגוריות אלה, למידה עמוקה (תחום של ML באמצעות רשתות עצביות עם שכבות רבות) צברה תנופה למשימות מורכבות כמו ניתוח צילומי מסך עבור תוקפנות חזותית, עיבוד דרישות שפה טבעית כדי ליצור תסריטי מבחן, ומודל התנהגות תוכנה מתופעות ביצוע.החוט המשותף הוא שמערכות AI / ML גורמות לממצאים ניסויים מתקדמים ביותר - קוד, יומני, דרישות באגים, מסדי נתונים, ופסימי חלוף זמן ותבניות ממושכות - יכול לקחת אנשים או לחקות תבניות ארוכות מדי או כדי לקחת אנשים.
אימוץ AI ו-ML בבדיקות אינו מתכוון להחליף בודקים.במקום, הוא משפר את היכולות שלהם על ידי הסרת ניתוח חוזר, הדגשת אזורים בסיכון גבוה, ומציע אסטרטגיות בדיקה אופטימליות.התוצאה היא תהליך בדיקה מדויק יותר שבו השיפוט האנושי מתמקד בתחומים שבהם הוא מוסיף את הערך ביותר.
כיצד בינה מלאכותית ו-ML משפרות את ה-CDC
לקביעת מערכת יש ממדים מרובים: שלמות של כיסוי, נכונות של גילוי פגם, אמינות של בדיקות רגרסיה, ומהירות זיהוי כישלונות קריטיים. AI ו-ML לתרום על פני הממדים האלה באמצעות מספר מנגנונים מרכזיים.
מבחן אוטומטי דור
אחד ההיבטים המשתנים ביותר של בדיקות המערכת הוא יצירת מקרים מבחן כי יש להם דרישות כיסוי נאות, מקרים קצה ודרכי שגיאה. כלי מופעל AI יכול לייצר באופן אוטומטי מקרים של מבחן ממקורות שונים: מסמכים דרישות (באמצעות עיבוד שפה טבעית), מפרטים API (כמו OpenAPI), או זרימת אינטראקציה המשתמש (מפגישות שנרשמו או יומני שימוש). לדוגמה, מודל ML מאומן על סוויטות קיימות והיסטוריית פגומות יכול להציע מקרים חדשים במבחן זה גרם למקרים של תרחישים ממוקדים.
הדור האוטומטי של הניסוי גם מקטין את ההטיה האנושית.אנליסט מבחן ידני עשוי לכתוב באופן לא מודע בדיקות שיעזרו לאמת התנהגות צפויה אך להחמיץ תופעות לוואי עדין. AI יכול לחקור באופן שיטתי חללי מדינה, לייצר שילובים של קלטות ותנאים שיהיו לא מעשיים כדי לחלחל באופן ידני.זה מוביל לכיסוי גבוה יותר של מצבי כישלונות פוטנציאליים ופחות פגמים נמלטים בייצור.
כלים כמו FLT:0 (Dip Blue CoverFLT:1) משתמשים בחיזוק למידה כדי לכתוב הצהרות ברמת יחידה באופן אוטומטי, בעוד אחרים כמו FLT:2TestimveFLT 3 ML כדי ליצור בדיקות אינטרנט מקצה לקצה על ידי ניתוח DOM ודפוסי משתמש.
גילוי וחיזוי
מודלים של למידת מכונות מצטיינים בזיהוי דפוסים הקשורים לפגמים.על ידי אימון על נתונים היסטוריים - כגון קידוד churn, מדדי מורכבות, גרפים תלותיות, ודיווחי באגים קודמים - מודלים אלה יכולים לחזות אילו קבצים, מודולים או תכונות רגישים ביותר פגמים חדשים.זה מאפשר לצוותים בדיקה כדי לאשר את מאמציהם, תוך הקצאת בדיקות קפדניות יותר לאזורים בסיכון גבוה וכיסוי רגוע לחלקים יציבים של המערכת.
לדוגמה, רגרסיה לוגיסטית או מודל יער אקראי עשוי להקצות ציון הסתברות לכל רכיב המציין את הסבירות המכיל באג.זה הופך להיות מדריך חזק במהלך תכנון וביקורת קוד.בנוסף, טכניקות למידה עמוקות כמו רשתות עצביות אבולוציה (CNN) ניתן ליישם קוד מתחייב לזהות תבניות אטום כי לעתים קרובות פגמים precede - משהו כמו גלאי גלאי "קוד" עבור שינויים.
יתר על כן, AI ניתן להשתמש עבור סיווג באג בזמן אמת.כאשר הבדיקה נכשלת, המערכת יכולה לנתח את יומני הכישלון, ערמות עקבות, ובדיקת קלטות כדי לקבוע את אזור שורש הגורם ואפילו להציע למי מפתח להקצות את הבעיה.זה מקטין זמן הזינוק ומבטיח כי פגמים מטופלים מהר יותר, שיפור הדיוק הכולל של צינור תיקון.
Regression Testing Optimization
בדיקות רגרסיה - אימונים מחדש לאחר שינויים בקוד - הוא קריטי אך לעתים קרובות גדל ללא פגע. AI ו-ML לפתור את הבעיה "יותר מדי בדיקות, מעט מדי זמן" על ידי בחירת וקביעת מקרים של מבחן בחוכמה ועדיפות.מודל ML יכול להיות מאומן על תוצאות הבדיקה הקודמות, שינויים בקוד, ולבחון את זמני ביצוע הניסויים צפויים לזהות תוקפנות בלבד אלה מבוצעים מדי לילה, פחות קריטיים, בעוד פחות או יותר מדי שבועי זמן.
טכניקות כגון קטגוריית סוויטות מבחן (העברת בדיקות מחוספס) ומקרה מבחן עדיפות (הסדר מבוסס על הסתברות כשלון) מוגדלים על ידי ML. חלק מהגישות להשתמש בממדדי מרחק מבוססי כיסוי כדי להבטיח כי הבדיקות שנבחרו עדיין לשמור על כיסוי מבני מספיק. אחרים מדמיינת את ההשפעה של שינויים קוד על בדיקות באמצעות ניתוח יעילות קנס (למשל, באמצעות גרף).
כלי ההרחבה (FLT:0)SealightsFLT:1ua ו-FLT:2LaunchDarklyFLT 3 (בתכונות המודיעין שלהם) משתמשים ב-ML כדי להמליץ אילו בדיקות לרוץ על בסיס כיסוי קוד ותבניות שינוי.זה בעל ערך במיוחד בצנרת אינטגרציה רציפה שבה משוב מהיר הוא חיוני.
בדיקות למידה וזיהוי עצמי
נקודת כאב עיקרית בבדיקות אוטומטיות היא תחזוקה של מבחן.כאשר השינויים של היישום או ממשק API שירות מתפתח, בדיקות תלויות בממצאים ספציפיים או מבני תגובה פורצים, הדורשות התערבות אנושית לתקן אותם. Machine Learning מאפשר בדיקות עצמיות-ההההההתאמת לשינויים באופן אוטומטי.לדוגמה, אם זיהוי כפתור משתנה, מודל ML המוכשר על אלמנטים סביבם עדיין יכול לאתר את האלמנטים הנכונים על ידי דפוסים חזותיים או ויזואליים, כדי להתאים את הקריטריונים של בדיקות זמן, כדי להתאים את הקריטריונים של בדיקות ביצועים, כדי להתאים את הקריטריונים של הניסוי, כדי להתאים את הקריטריונים של הקריטריונים של ה-תרגול, כדי להתאים את הקריטריונים של הקריטריונים של אימות, כדי להתאים את הקריטריונים של אימות, כדי להתאים את הקריטריונים של אימות, כדי להתאים את הקריטריונים של אימות, לדוגמה, כדי להתאים את הקריטריונים של אימות הקריטריונים של אימות ה-תרגול, כדי להתאים את הקריטריונים של אימות הקריטריונים של אימות, כדי להתאים את הקריטריונים של אימות הקריטריונים של אימות ה-ידי בדיקות ביצועים.
למידה רציפה חלת גם על חלקים אחרים של מערכת האקולוגית של הבדיקות.a משוב נוצר: תוצאות בדיקה (פס/פאל, כיסוי, זמן ביצוע) ניזונים בחזרה למודלים של ML, אשר לאחר מכן לשפר את התחזיות שלהם עבור הפעלת המבחן הבא.זה אומר כי כמו התוכנה מתפתחת, אסטרטגיית הבדיקה מתפתחת עם זה, הופכת מדויקת יותר עם זה הוא ניגוד כוכבים לחבילות סטטיות כי הערך של קוד משתנה כמו שינוי בסיס.
בדיקה חזותית ולא מצחיקה
(AI ו- ML משפרים באופן משמעותי את הדיוק בבדיקת רגרסציה חזותית.השוואה מסורתית pixel-by-pixel לעתים קרובות מניבה חיובי כוזב (למשל, בשל מניעת או אנימציה) ושלילים כוזבים (למשל, שינויים קלים של פריסה) מודלים של ML בלבד שהוכשרו על הבדלים חזותיים מתואמים בין היתרה לפגמים חזותיים אמיתיים.
בבדיקות שאינן פונקציונליות - ביצועים, אבטחה וזמינות - מודלים של ML יכולים לנתח דפוסי תנועה לייצור כדי להגדיר תרחישים של בדיקת עומס מציאותי, לזהות אנומליות בזמנים תגובה, ולנבא סף יכולת.עבור בדיקות אבטחה, ML יכול מודל התנהגות מערכת נורמלית כדי דגל קלטות חשודות או דפוסי גישה בלתי צפויים שעשויים להצביע על פרצות.יישומים אלה מביאים רמה של דיוק שלא ניתן להשיג עם קבוצות חוק סטטיות.
אתגרים וכיוונים עתידיים
למרות היתרונות המשכנעים, שילוב בינה מלאכותית ו-ML לבדיקות מערכת לא ללא מכשולים, ארגונים חייבים לנווט מספר אתגרים כדי לממש את רווחי הדיוק שהובטחו.
איכות נתונים וזמינות
מודלים של למידת מכונות הם רק טובים כמו הנתונים שהם מאומן על.בבדיקות, זה אומר נתונים פגומים היסטוריים, מדדי קוד ותוצאות הבדיקה חייבים להיות נקיים, מחוסנים, ונציגים של התנהגות המערכת.קבוצות רבות אין מספיק נתונים היסטוריים (במיוחד עבור פרויקטים חדשים או אזורים בצ'כיה גבוהה), המוביל מודלים עם השקעות לקויות ותחזיות לא מדויקות.
Algorithm Transparency and Explainability
מודלים של בינה מלאכותית, במיוחד רשתות למידה עמוקות, הם לעתים קרובות ארגזים שחורים.כאשר מודל צופה כי מודול מסוים הוא בסיכון גבוה, בודקים צריכים להבין את FLT:0 (למהFLT:1 כי החיזוי נעשה.ללא הסברה, נאמנות סרדות, ומהנדסים עשויים להתעלם או להתגבר על שיטות מודל.
שילוב עם תהליכים קיימים
הצגת בדיקות מונעות בינה מלאכותית דורשת שינויים בזרימות עבודה, שרשראות כלים ותפקידים של צוות.קיימים צינורות CI /CD, מערכות ניהול בדיקות, וכלים של דיווח עשויים לא לתמוך במודלים של ML.בנוסף, בודקים צריכים מיומנויות חדשות כדי לפרש הצעות מודל ולשמור על נתוני הכשרה.יש שינוי תרבותי מ"אנחנו כותבים באופן ידני" כדי "לרפא נתונים ואימות ארגונים".
עלויות ותשתית
מודלים של הדרכה וניהול ML יכולים להיות יקרים חישוביים, במיוחד עבור מערכות גדולות.התשתית הנדרשת - אשכולות GPU, אחסון מבוזר, ניטור - עשוי להיות אסרטיבי עבור קבוצות קטנות יותר. פתרונות מבוססי ענן מודלים מאומנים מראש יכול להוריד את המחסום, אבל הם מציגים חששות לגבי פרטיות נתונים ועקביות. כמו עם כל כלי בדיקה, ההחזר על ההשקעה חייב להיות מוערך בקפידה: כמה קבוצות, מודל AI מתוחכמת עשוי לא להצדיק מספיק דיוק.
כיוונים עתידיים
הגבול הבא ל-AI ו-ML בבדיקות מערכת כולל מספר התפתחויות מבטיחות:
- (FLT:0)AutoML לבדיקה של מערכות למידת מכונה אוטומטיות אשר בוחרות באופן אוטומטי את האלגוריתם הטוב ביותר ואת יתרפרפרפרמטרים עבור הקשר בדיקה נתון, צמצום הצורך במומחיות במדעי נתונים.
- (FLT:0) בדיקות מבוססות-Model עם AIFLTRE:1) באמצעות חיזוק למידה לחקור חללי מדינה מערכת וליצור רצפי מבחן אופטימליים, במיוחד עבור מערכות אוטונומיות או סייבר-פיסיקה.
- (FLT:0) AI for test DataFLT:1) - מודלים שפה גדולים (LLMs) יכולים ליצור נתונים סטטיסטיים, יומני מערכת ואפילו תסריטים של תיאורים טבעיים, מה שהופך את יצירת המבחן לנגיש יותר.
- (FLT:0) אימות מתמשך של מודלים של ML ML,IRLT:1) - כמו מודלים עצמם להיות חלק צינור הבדיקה, אנו זקוקים למסגרות לפקח על סחף מודל ולהבטיח תחזיות נשארות מדויקות לאורך זמן.
- (FLT:0) למידה מוגברת של למידהFLT:1 - המאפשר מספר קבוצות או ארגונים להכשיר מודלים של חיזוי פגם בשיתוף פעולה ללא שיתוף קוד רגיש או נתונים, שיפור איכות המודל על פני קריטריונים בתעשייה.
קידוםים אלה מבטיחים לבצע בדיקות AI / ML מונעות יותר חזק, יותר מדרג, ותואמים יותר עם קצב של משלוח תוכנה מודרני.
מסקנה
AI ולמידה מכונה אינם רק מילות מפתח בבדיקת המערכת - הם כלים מעשיים אשר משפרים באופן משמעותי את הדיוק של בדיקות באמצעות הדור האוטומטי, חיזוי פגם, תוקפנות אופטימיזציה, והסתגלות רציפה. על ידי צמצום תבניות ידניות וחשיפת דפוסים שבני אדם עשויים להתעלם מהם, טכנולוגיות אלה עוזרות לצוותים יותר חיזוי אמין עם ביטחון גדול יותר, עם זאת, אימוץ מוצלח דורש אתגרים סביב איכות נתונים, הסברה, ואינטגרציה.