איך להשתמש בדיקות A/b של אפליקציות ניידות כדי לשפר את חווית המשתמש

בדיקת יישומים ניידים A/B היא אחת השיטות היעילות ביותר לשיפור חוויית המשתמש באמצעות החלטות המונעות על ידי נתונים.על ידי השוואת שני גרסאות או יותר של תכונה, מסך או זרימת עבודה, צוותי המוצר יכולים לזהות אילו תוצאות טובות יותר - בין אם זה אומר מעורבות גבוהה יותר, המרות יותר, או יותר שמירה. בניגוד לנחישות או דעות, A / B מאפשר בפועל התנהגות של המשתמש שלך להנחות את אפשרויות העיצוב שלך.

מה זה Mobile App A/B Testing?

A / B בדיקות (הנקראות גם מבחנים מפוצלים) כרוכות בהצגת שתי גרסאות או יותר של אלמנט אפליקציה ספציפי לחלקים שונים של משתמשים ומדידה אשר גרסה מבוצעת טוב יותר כנגד מטרה מוגדרת מראש.על גבי נייד, זה יכול להיות בדיקות צבעי כפתור, על גבי זרימת ריצוף, מסכים תמחור, לדחוף עותק הודעה, או אפילו חדש לחלוטין של זרימת עבודה.

עקרון הליבה הוא פשוט: באופן אקראי להקצות משתמשים לקבוצת בקרה (version A) וקבוצת בדיקה אחת או יותר (version B, C, וכו ') לאחר גודל מדגם משמעותי סטטיסטית, לנתח את התוצאות כדי לראות איזו גרסה משיגה את המדד הרצוי. Mobile A/B בדיקות נבדלים מ- A/B בדיקות ביצועים מתאימים בדרכים מפתח: אחוזה מסך קטן יותר, השפעה גדולה יותר של פעמים טעינה, ואת הצורך לשקול התנהגות Native (תהליך המונע על ידי אנדרואיד).

למה להשתמש ב- A/B ב- Mobile App?

יישום A / B בדיקות מציע יתרונות מרובים כי באופן ישיר לשפר את חוויית המשתמש ואת תוצאות עסקיות:

(ב) החלטות:0) החלטות שנתמכות בנתונים: FLT:1hil יבטלו דעות סובייקטיביות ויתמכו על התנהגות משתמשים בפועל.
(FLT:0) סיכון מופחת: 1FLT לפני גלגול שינוי גדול לכל המשתמשים, לבדוק אותו על פלח קטן כדי לזהות השפעות שליליות פוטנציאליות.
שיפור מצטבר: (FLT:1, אפילו tweaks קטנים - כמו שינוי כפתור מכחול לירוק - יכול להגדיל באופן משמעותי את שיעורי ההמרה.
(FLT:0User-centric Developmentment: FLT:1) מתמקדת במאמצים של מה משתמשים מעדיפים בפועל ולא במה שסובייקט בעלי העניין.
(FLT:0) שימור טוב יותר ו-Monetization: FLT:1 אופטימיזציה על גבי לוחות, צ'קאאוט זורם, וגילוי תכונה מוביל למשתמשים מאושרים יותר, נאמנים יותר.

ללא בדיקת A/B, צוותים לעתים קרובות להסתמך על אינטואיציה או על שיטות הטובות ביותר שעשויות לא להחזיק את הקהל הספציפי שלהם.בהתחשב בשוק יישומים ניידים תחרותי, כל מדד לשיפור נקודות אחוז.

מפתח למדידה ב- Mobile A/B Tests

בחירת המדד הנכון היא קריטית.המדד חייב לשקף ישירות את מטרת הבדיקה ולהיות פעיל. Common יישומים metrics כוללים:

(ב) שיעור ההסרה:0 (Conversion Rate: 1) אחוז המשתמשים שמשלמים פעולה מבוקשת (למשל, הירשם, ביצוע רכישה, מנוי).
שיעור הכוונות: 0 (FLT:1 אחוז המשתמשים שחוזרים לאחר תקופה מוגדרת (יום 1, יום 7 7 יום 30).
(ב) ,0) ,7 ,7 , עונים למשתמש, זמן באפליקציה, תצוגות מסך, או שימוש בתכונה.
(FLT:0) או ירידה בקצב: ההרחבה 1 (כמה משתמשים עוזבים את האפליקציה במהלך זרימה (למשל, על גבי לוח או בדיקה).
(FLT:0)Revenue metrics:FLT:1 הכנסות ממוצעות למשתמש, ערך חיים, או בהמרות רכישה.
שיעור ההשתתפות ללא תשלום: 0(Crash-free Meeting Rate: FIRLT:1 חשוב כאשר בדיקת קוד משתנה - להבטיח יציבות אינה נפגעת.

תמיד להגדיר את המדד העיקרי שלך לפני תחילת הבדיקה.הימנעות מ"דיג בינוני" - התבוננות במדדים רבים לאחר מבחן וטענה הצלחה על אשר כל אחד מראה הבדל.

תכנון אסטרטגיית A/B שלך

מבחן A/B מוצלח מתחיל זמן רב לפני שכל קוד נכתב.התכנון של תורו מונע מאמץ מבוזבז ותוצאות מטעות.

קביעת מטרות ברורות

התחל עם הצהרה בעייתית: "משתמשים נוטשים את האפליקציה במהלך מסך ההתקנה הראשון" המטרה שלך עשויה להגדיל את אחוז המשתמשים שסיימו את ההרשמה.כל מבחן צריך לקשור בחזרה למטרה עסקית או חוויית משתמש.

פורמולה Hypothesis

השערה טובה קובעת מה השינוי שאתם מצפים ומדוע: "על ידי פשטת טופס הרישום מחמישה שדות לשלושה, אנו נגביר את שיעור השלמת ההרשמה לפחות 10%, משום שצורות קצרות יותר מקטין את חיכוך המשתמשים".

בחרו שינוי אחד

כדי לבודד את ההשפעה של שינוי יחיד, לשנות רק אלמנט אחד במבחן.אם אתה משנה את צבע הכפתור ואת הטקסט בו זמנית, אתה לא יודע מה גרם לשינוי בהתנהגות.עבור ניסויים מורכבים יותר עם שינויים מרובים, לשקול בדיקות רב-תחומיות - אבל זה דורש הרבה יותר מדגימות.

גודל הדגימה והזמן

הפעלת מבחן לזמן קצר מדי או עם מעט מדי משתמשים יכול לייצר חיובי כוזב או להחמיץ אפקטים אמיתיים. השתמש מחשבון בגודל מדגם (מני זמינים באינטרנט) בהתבסס על גודל ההשפעה הצפוי שלך, כוח סטטיסטי (בדרך כלל 80%), ורמת משמעות (בדרך כלל 95%) גם לשקול "אפקטים לא ברורים": משתמשים עשויים ללחוץ תחילה על כפתור חדש רק בגלל שהוא חדש, kewinging תוצאות.

יישום A / B Test

לאחר תכנון, הגיע הזמן להגדיר את המבחן באפליקציית שלך.זה כולל בחירת כלי, יצירת גרסאות, ובאופן תקין של משתמשים.

כלי A/B Testing Tool

כמה פלטפורמות חזקות לתמוך ב-A / B בדיקות Mobile A/B. בחר אחד שמשתלב היטב עם ערימה הטכנולוגיה שלך, תומך ב- iOS ו- Android, ומספק ניתוח סטטיסטי אמין.

(FLT:0)Firebase A/B Testing:FreaLT:1) חינם ומשולבת עמוק עם בסיס האש של גוגל. עובד טוב עבור יישומים שכבר משתמשים ב- Firebase Analytics.
(FLT:0)Optimizely:FLT:1gr Enterprise-class כלי עם מיקוד מתקדם, ניסויים רב עמודים, ודיווח חזק. תומך ב- SDKs Native Mobile ויכול גם לבחון שינויים בצד השרת.
(FLT:0)Mixpanel: 1FLT) בעיקר פלטפורמת ניתוח, אך מציע פונקציונליות ניסוי.טוב לצוותים שכבר משתמשים ב- Mixpanel למעקב.
(FLT:0Leanplummia: FLT:1 מתמקדת במעורבות סלולרית ואישון, כולל A / B בדיקות עבור קמפיינים והודעות ללא תשלום.
(FLT:0) פתרון שלCustom: 1FLT) כמה קבוצות לבנות את עצמן באמצעות דגלים מרוחקים (למשל, Firebase Remote Config) בשילוב עם ניתוח, אבל זה דורש מאמץ הנדסי נוסף.

עבור רוב היישומים בגודל בינוני, Firebase A/B Testing מציע נקודת התחלה חינם מעולה. יישומים גדולים יותר או אלה הזקוקים לשיטות סטטיסטיות מתוחכמות יותר עשויים להעדיף אופטימיזציה.

ליצור את המשתנים

צוות הפיתוח שלך ייישם את הגרסאות השונות של האלמנט שאתה בודק.שמור את הגרסאות זהות ככל האפשר למעט אחד משתנה.אם אתה בודק כפתור שיחה-לפעולה, למשל, להבטיח כי לשניהם יש את אותה הפריסה סביב, גופנים וספאם - רק את הטקסט או הצבע שונים.

משתמשים ב-Commently

הקצאה אקראית היא חיונית.רוב כלי A/B בודקים באופן אוטומטי משתמשים לקבוצות.עם זאת, באפשרותך גם לכוון פלחים ספציפיים (למשל, משתמשים חדשים לעומת החזרה, iOS לעומת אנדרואיד, מדינה) זה יכול לחשוף אם השינוי משפיע על קבוצות שונות באופן שונה - אבל להיות זהיר לא על מדי ולהפחית את גודל הדגימה.

הפעל את המבחן ו- Monitor

במהלך הבדיקה, לפקח על הביצועים של האפליקציה עבור כל חריגות (למשל, התנגשויות, זמני עומס איטיים) חכם לבדוק כי הבדיקה היא לירות נכון - להשתמש במצב debug של הכלי שלך כדי לאשר משתמשים מוקצה לקבוצות ואירועים הם במעקב.אל תציץ בתוצאות ועצור את הבדיקה מוקדם בהתבסס על מגמות ראשוניות אלא אם כן גרסה מזיקה בבירור ניסיון משתמש.

ניתוח ותוצאות Interpreting

כאשר הבדיקה מגיעה לגודל הדגימה שנקבע מראש שלה, הגיע הזמן לנתח.הכלי בדרך כלל יחשב ערך או מרווח אמון.

משמעות סטטיסטית חזקה: סף משותף הוא ערך p < 0.05 (95% ביטחון) זה מצביע על ההבדל הנצפה הוא לא סביר להיות עקב סיכוי אקראי.
גודלו של LT:0 (FLT:1) כמה גדול הוא השיפור?מעלה משמעותית סטטיסטית של 0.05% לא יכולה להיות משמעותית כמעט.
ניתוח:0 (FLT) 1 האם הגרסאות המנצחות הופיעו היטב בכל פלחי המשתמש, או רק בקבוצה מסוימת?לפעמים שינוי משפר התנהגות למשתמשים חדשים, אך מחמיר אותו עבור משתמשי חשמל.
(ב) ⁇ :0 ⁇ משנית: ⁇ 1 (הראשונה ל-[[1924]], אם הגרסאות המנצחות לא הראו השפעות שליליות על מדדים חשובים אחרים (למשל, המרה מוגברת אך שמירה נמוכה יותר).

אם התוצאות הן בלתי חד משמעיות (לא הבדל משמעותי סטטיסטי), לא להסיק כי שתי הגרסאות שוות.זה יכול להיות שהדגימה הייתה קטנה מדי, ההשפעה עדינה מדי, או משך הבדיקה קצר מדי.חשבו מחדש את ההשערה ולנהל בדיקה חדשה.

Best Practices for Mobile App A/B Testing

לאחר שיטות הטובות ביותר מבטיח הבדיקות שלך אמין ופעולה:

(ב) כמפורט ב[[1924]], [[1924]], [[1924]]]], אך אם כן אתם מנהלים מבחן רב-תחומי, שמרו על כך פשוט.
(ה)המשימה אקראית: 0 (FLT:1) להימנע מפיצול ידני שיכול להציג הטיה (למשל, השפעות של זמן).
(ב) ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇
(ב) ,0) מבחנים ארוכים מספיק: 1FLT 1 לפחות שבוע שלם אחד, ולהימנע מהפסקת הבדיקה על בסיס מגמות מוקדמות.
(ב) ,0) ,השערה: 1:1 (ה) רשם את השערה שלך, תיאורים וריאנטים, גדלים מדגם, תאריכים ותוצאות.
(ב) ⁇ :0) ⁇ באופן קבוע: בדיקת A/B אינה פעילות חד פעמית.לבנה תרבות של ניסויים רצופים.
(ב) מידע איכותי וכמותי: (FeloLT:1) משוב משתמש, הקלטות ישיבה ומפת חום יכולים לעזור להסביר את FLT:2 למהראלף 3 גרסה מבוצעת טוב יותר או גרוע יותר.

מלכודות נפוצות להימנע

אפילו קבוצות מנוסים יכולות ליפול למלכודת.להתבונן בטעויות הנפוצות הללו:

(ב) נאמר: "הדברים רבים מדי בבת אחת: ⁇ 1" כפי שהסביר, תוצאות הבלוליות האלה.
(ב) פסיקו בדיקות מוקדם: 1FLT (ראה מעלית של 5% לאחר שעתיים לא אומר שהמבחן נעשה.
(FLT:0) אבחון משמעות סטטיסטית: FLT:1 Acting on in un significant Results Wastes משאבים ויכול להוביל לחוויה של משתמשים עניים.
(ה)לא אימות יישום הבדיקה: FLT:1 A באג בגרסתך (למשל, שיחת שירות שבורה) יכול להיות תוצאות skew דרסטיות.תמיד QA הבדיקות שלך.
(FLT:0) העלאה על קבוצת הביקורת: FIRLT:1 לפעמים הגרסה המקורית מנצחת.זה בסדר – זה אומר שהשינוי לא היה מועיל והצלת את שאר המשתמשים שלך מחוויה גרועה יותר.
(FLT:0) הצצה אל הקהל הלא נכון: FIRLT:1 אם אתה בודק תכונה המיועדת למשתמשים פרימיום בקבוצה חופשית, תוצאות לא רלוונטיות.
(ב) ⁇ :0) ,התמדה לדרגה אחת: 1:1 שיפור ההמרה על חשבון שביעות הרצון של המשתמש יכול לפגוע בשמירת לטווח ארוך.

דוגמאות אמיתיות ל- Mobile App A/B Testing

בואו נסתכל כיצד A/B בדיקות עיצבו יישומים פופולריים:

(FLT:0)Duolingo:FLT:1, אפליקציית הלמידה שפה לעתים קרובות בוחנת על זרימת זרימה, מבני לקח, ואלמנטים גיבוד.מבחן מפורסם אחד מעורב בשינוי ספירת "הקיצוני" כדי לאפס בחצות במקום 24 שעות לאחר השיעור האחרון, אשר הגדיל את המעורבות.
(FLT:0) Airbnbnbrea: הם בחנו מיקומים שונים של תמונות ועיצובי בר חיפוש לשיפור שיעורי ההזמנה.שינויים פשוטים כמו הרחבת תמונות גיבור הובילו למעליות מדידה של המרות.
(FLT:0) נטפליקס: ⁇ FLT:1 , ענקית הזרמת A / B בוחנת כמעט כל אלמנט UI, כולל אמנות עבור הופעות, סדר שורות על דף הבית, ומספר הכותרות המומלצים.הם מצאו כי אמנות אישית הגדילה באופן משמעותי את הצופה.

דוגמאות אלה מראות שגם מנהיגי התעשייה מסתמכים על A/B כדי לבצע שיפורים מצטברים, נתונים.

בדיקה A/B לתוך מחזור הפיתוח שלך

בדיקת A/B לא צריכה להיות לאחר מכן לבנות אותו לתוך תהליך פיתוח זריז או מוצר שלך.לאחר כל שחרור, לזהות אחד או שניים השערות לשיפור. הפעל בדיקות במקביל לפיתוח תכונה. השתמש דגלים תכונה (כמו Firebase Config) כדי לשלוט באופן דינמי שבו משתמשים רואים תכונה חדשה, המאפשרת לך לבדוק לפני רולט מלא.

פוסטר תרבות שבה יש ספקות והנתונים מכובדים.לנצח את הבדיקות המנצחות וההפסדות - מבחן "הפסד" אומר לך מה לא עובד, לחסוך זמן ומאמץ בהמשך הדרך.

מסקנה

בדיקת יישומים ניידים A / B היא מתודולוגיה חזקה, מבוססת ראיות עבור refining חוויית המשתמש. על ידי הגדרת מטרות ברורות, יצירת השערות חזקות, ביצוע בדיקות עם הקפדה סטטיסטית נאותה, ולמידה משני ההצלחות והכישלונות, צוותי המוצר יכולים תמיד לשפר את האפליקציה שלהם.התוצאה היא מוצר כי resonates יותר עמוק עם משתמשים, מניע מדדים עסקיים טובים יותר, ונשאר תחרותי בשוק צפוף.

התחל קטן: לבחור מסך אחד או זרימה כי אתה חושד יכול להיות משופר, ליצור גרסה פשוטה, ולרוץ את המבחן הראשון שלך.כפי שאתה מקבל ביטחון, להרחיב את היקף הניסויים שלך.עם הכלים הנכונים ואת החשיבה, A / B בדיקות הופך חלק חיוני של אסטרטגיית אפליקציה ניידת שלך.