A / B testing – המדריך המלא + 5 טיפים ששווים זהב

תוכן עניינים

במאמר הזה אכתוב על אחד האתגרים הגדולים שעומדים בפני מקדם אתרים בפרט ואנשי שיווק בכלל – A / B testing.

היות והמאמר ארוך ומקיף, נכון לדעתי להתחיל מסיפור קצר שיאמל"ק לכם את התועלות של A / B testing, כאשר אחריו אני מניח, תרצו להמשיך איתי עד הסוף הטוב.

אחד מהמוצרים המצליחים של חברת "מיקרוסופט" הוא מנוע החיפוש "בינג".

באקדמיה נהוג לספר על אחד ממנהלי המוצר שהחליט על טקטיקה חדשה לשיפור הכנסות החברה: ביצוע שינויים בגודל וסוג הפונט של כותרות תוצאות החיפוש הממומנות.

אם זה נראה לכם קצת תמוה, אתם לא לבד.

מנהליו של אותו מפתח סירבו להחיל את הניסוי במשך חודשים ארוכים.

לאחר חצי שנה של בקשות חוזרות ונשנות, המנהלים אישרו את השינויים ותוך ימים ספורים הגרפים התחילו לספר סיפור אחר: התברר כי השינויים הלכאורה מינוריים שנבדקו בעיצוב כותרות תוצאות החיפוש הביאו לעלייה של 12% בהכנסות ממודעות.

כשנה לאחר הניסוי 12% תורגמו למאה מיליון דולר בהכנסות.

בחישוב ששת החודשים בהם סירבו המנהלים לבצע את השינויים עולה כי החברה הפסידה חמישים מיליון דולר. לא נעים.

די היה בסיפור הזה כדי להבין מדוע כדאי לנו לעשות A / B testing אבל אני כאן כדי לספר לכם גם על הקווים המנחים, על דגשים בביצוע ועוד.

 

ההיסטוריה של A / B testing

רונלד פישר, שחי בעשורים הראשונים של המאה הקודמת, גילה עקרונות חשובים שתרמו המון לתחום הניסויים המבוקרים-רנדומליים בכלל ותחום ה A / B testing בפרט.

אמנם עוד לפני רונלד, נערכו בחינות לפי מתכונת ה – A / B testing אבל כשרונלד ערך מחקר 'האם כמויות שונות של דישון יכולות להשפיע על איכות היבול?' הוא גילה עקרונות מתמטיים בסיסיים שהיוו תשתית חשובה לסטטיסטיקה המודרנית שאנחנו מכירים. עקרונות שהמשיכו איתנו הלאה.

כשני עשורים לאחר התוצאות של רונלד, בשנות החמישים, התחילו להשתמש באותן שיטות גם בעולמות הרפואה ובשנות השבעים – השיטה הגיעה סוף סוף לעולמות השיווק.

מנהלי השיווק דאז הפיצו בתיבות הדואר של הנמענים גלויות ובתיבות אחרות מכתבים על מנת לבחון את כמות ואיכות התגובה שיחזרו מהלקוחות.

עד כמה נכנסה בדיקת ה – A / B testing לעולמות הדיגיטל ניתן לראות בתמונה הבאה.

הנתונים הם מהחברות המובילות בעולם וניתן לראות את כמות השינויים הנבדקים בשנה:

כמות שינויים ובדקיות a.b testing

 

"A / B testing הוא ממנועי הצמיחה הגדולים והמשמעותיים ביותר של פייסבוק"

את המשפט הזה אמר מארק צוקרברג, מייסדה של פייסבוק.

ובאמת, בכל רגע נתון, יש כעשרת אלפים שינויים שפייסבוק בוחנת על מנת למטב את זמני הגלישה ואת אופן השימוש על המפרסמים.

גם ג'ף בזוס, התברר כחסיד גדול של  A / B testing כשאמר: "אם מכפילים את כמות הניסויים אתה מכפיל גם את כמות החדשנות." 

כאנשי דיגיטל אנחנו רוצים תמיד לשפר את התוצאות אליהם אנחנו מגיעים.

A / B testing תמיד נמצא בצ'קליסט שלנו כביצוע חובה על מנת למטב את התוצאות אבל אם נודה על האמת הוא נראה לנו קצת מפחיד.

המחשבה הנפוצה היא שלוקח המון זמן לתכנן ונדרש המון זמן ליישם A / B testing ומצב הרוח בהתאם.

בדיוק כדי לנפץ את הקונספציה השגויה הזו, לקחתי על עצמי לכתוב על A / B testing להסביר בפשטות מה מסגרות ה – KPIs שניקח על עצמנו, ולהמליץ על השיטות הטובות שצברתי בשנים בהן אני בתחום.

 

אז מה זה בכלל A / B testing

ב –  A / B testing אנחנו משווים שתי גרסאות שונות ובודקים איזו גרסה מייצרת נתונים טובים יותר.

ברוב כלי ה A / B testing משתמשים כיום בסטטיסטיקה הבייסיאנית איתה אנחנו יודעים לזהות את המדגם הנבדק ולהתאים אליו את המודל הנכון כך שאם עלינו בכמות היוזרים הנבדקים ובסגמנטים שלהם נצטרך להתאים את מודל הבדיקה בצורה מיידית.

כפי שאכתוב בהמשך, בכלי A / B testing הפעולה הזו מתרחשת אוטומטית.

כמות הניסויים שנבצע תשליך מיידית על המהירות והסיכויים להגיע להצלחה עסקית.

סטטיסטית שיפור יחסי המרה בפעולת A / B testing מצליח 1/10 כך שאם נבצע 50 בדיקות בשנה הסיכויים שלנו לראות את התוצאה ישתפרו משמעותית.

הנה גרף שמדגים לכם את סיכויי ההצלחה ביחס לכמות השינויים. ככל שנבצע יותר שינויים, סיכויי ההצלחה יעלו:

גרף סיכוי הצלחה

 

נעים מאוד, google optimize

הכלי הפופולרי לעבוד איתו על A / B testing הוא google optimize מבית גוגל.

מלבד העובדה ש –  google optimize מתממשק עם גוגל אנליטיקס – מיותר לציין שגם הוא מתאים ומיישם לנו את מודל הפעולה הנדרש למדגם לפי שיטת הסטטיסטיקה הבייסיאנית כך שאנחנו בידיים טובות.

 

עוד יתרונות על google optimize:

  • זמן ההקמה של ניסוי עשוי לארוך כארבע או חמש שעות של תכנון והקמה ב- google optimize. היתרון הגדול הוא שאין צורך לבוא מהבית עם מפתח או מעצב היות והממשק הוא drag and drop, מה שמאפשר לנו לבנות בקלות את הגרסה החדשה אותה אנחנו רוצים לבחון.
  • קיימת היכולת לסגמנט את הניסוי בדיוק כמו באנליטיקס לפי מכשירים / מקורות תנועה וכדומה.
  • אם אתם נדרשים ל – A / B testing משמעותי ומאסיבי, בגרסת הפרימיום של google optimize מחכה לכם עוד סל פתרונות ואפשרויות מתקדמות.
  • הנה צילום מסך על ההבדלים בין המינויים האפשריים ב – google optimize:

ההבדלים בין המינויים האפשריים ב - google optimize

 

איך באמת עושים A / B testing?

אחרי שקפצנו למאה הקודמת וסיפרתי לכם אנקדוטה מחדר המיטות של בינג, הגיע הזמן לצלול קצת למטה.

בפסקאות הבאות אספר לכם איך מתעדפים ניסויים של A / B testing, מה הפלואו של סדר פעולות מלא מקצה לקצה, מה בכלל שווה לבחון, מהם ה – best practices  וה – optimal guidelines? מה לא כדאי לעשות ועוד חמישה טיפים שכדאי לקחת בחשבון לפני תחילת פעילות.

 

תיעדוף משימות:

 

  • כסף בבנק: יש אין ספור אפשרויות ודרכים לבחון שינויים. כדאי לזכור שהיעד שלנו בסוף הוא להרוויח ולכן נתעדף בחינת ערכים עם משמעות רווחית.
  • לטווח הארוך: נרצה להסתכל רגע במשקפיים האסטרטגיות של העסק ולתעדף בחינה המשפיעה על ערכים יציבים שיישארו איתנו זמן רב בתהליכי השיווק של העסק.
  • כמות ואיכות תנועה: נרצה לתעדף אזורים מרובי תנועה או בעלי תנועה חשובה למשל: מדיה שרכשנו, דפי נחיתה משמעותיים או דפים חשובים אחרים עם מבקרים רבים.

 

 

סדר הפעולות:

  • בשלב הראשון נאסוף מידע לנכסים הדיגיטליים בהם נרצה להחיל את השינויים. הזרמת התנועה אפשרית על ידי קמפיינים בפלטפורמות שונות.
  • בשלב השני נקבע מטרות ויעדי אמצע – KPIs – איתם נוכל להבין האם אנחנו מתקדמים כפי שרצינו. כמו בכל תהליך דיגיטלי חשוב קודם להבין מה היעד אליו אנחנו מנסים להגיע לפני שנפסע אליו.
  • בשלב השלישי ניצור היפותזה, תיאוריה, לפיה אם נשנה צבע, מבנה, טקסט או לוגיקה בנכס – התוצאות ישתפרו. תיאוריה כזו נבנית על ידי הסתכלות על הגרסה הנוכחית ולנסות "לנחש" לפי ההיגיון הפשוט מה מונע מהגולשים לבצע המרה או מה מקשה עליהם בדרך אליה.
  • בשלב הרביעי ניצור את הגרסה המתאימה עליה החלטנו. כאמור, את הבנייה של הגרסאות ניתן לבצע בקלות בממשק של Google optimize. זה לא שונה מתהליך בניית עמוד באלמנטור או בוויקס 🙂
  • בשלב החמישי נזרים לגרסה החדשה והנוכחית תנועה בחלוקה הנדרשת. זהו השלב בו מתבצע הניסוי הלכה למעשה.
  • בשלב השישי והאחרון ננתח את התוצאות אם הם שירתו אותנו או לא לפי שיפור המטרות ויעדי האמצע שהחלטנו עליהם בשלב השני.

התהליך

 

מה נכון לנו לבחון בנכס הדיגיטלי?

3 פרמטרים ראשונים

2 פרמטרים נוספים

 

מה לא כדאי לעשות:

  • אל תסיימו ניסוי לפני שנצברה מספיק דאטה. נדרשת סבלנות, רק עם כמות דאטה משמעותית ניתן להצביע על הגרסה הנכונה.
  • אל תבחנו יותר משינוי אחד בבת אחת. כדאי לנו לבודד ניסויים כמה שיותר על מנת למטב כל אזור בצורה המקסימלית.
  • אל תסתכלו על יותר מדי מדדים. תגדירו היטב את היעדים כך שיהיו מדדים ברורים להצלחה או לכישלון שלהם.
  • אל תתפשרו על תוצאות לא טובות. תמיד אפשר לשפר ותמיד אפשר למצוא את הדרך הנכונה שתוביל אותנו ליעד שהגדרנו.

 

מהם ה – Best practices  וה – Optimal guidelines?

  • ודאו שהדאטה שמגיע לנכס היא איכותית. אם היא לא, התוצאות ממילא יהיו שגויות.
  • נדרשת הלימה בין מספר הגרסאות למספר היוזרים איתם מבצעים את הבדיקה.
  • תנו לניסוי לרוץ כמה זמן שהוא צריך. אל תעצרו אותו לפני שהוא מגיע למספר היוזרים שהגדרתם מראש.
  • הגדירו מראש את יעדי האמצע והמטרות הסופיות כך שתדעו תמיד לאן אתם שואפים להגיע.
  • בחנו אלמנט אחד בכל ניסוי כדי שיהיה אפשר לבודד את ההשפעה של הניסוי.
  • שימו לב לתקופה בה מתבצע השינוי כדי לנטרל התנהגויות הקשורות בתקופה.
  • חלקו את הניסויים לסגמנטים כדי לשמור על סדר ולהבין את התוצאות טוב יותר.

 

5 טיפים שכדאי לקחת בחשבון לפני תחילת A / B testing

  1. כדאי למצוא את האיזון בין בחינת שינויים מינוריים לבין שינויים מערכתיים בנכס הדיגיטלי. בדיוק כמו שלא נרצה להישאר בגזרת הניסויים של צבע הכפתור, לא נרצה "להחריב" כל פעם את המבנה ולנסות גרסה של יש מאין.
  2. למרות זאת, כדאי לבדוק אחת לתקופה מוגדרת שינוי גדול ומשמעותי כדי להישאר עם אצבע על הדופק, עד כמה המבנה הנוכחי טוב לנו בציר הזמן הנוכחי.
  3. כשנעשים השינויים, כדאי לדאוג שצוות ה- seo נמצאים בסוד העניינים, בכדי לא לדרוס פעולות משמעותיות שנעשו לטובת הקידום האורגני.
  4. המאמר הזה אכן מעודד ביצוע A / B testing אבל כדאי גם לבחון את השינויים בראייה מערכתית ולוודא שהם לא מתנגשים עם פעילות של מחלקות אחרות התורמות לריווחיות העסק.
  5. מובייל ודסקטופ זה לא אותו דבר. מומלץ לבצע הפרדה ביניהם בכל שינוי ולבחון את ההשפעה בכל אחד מהם.

 

מילות סיכום:

תחום ה CRO (שיפור יחסי המרה) הולך ותופס תאוצה וככל שיש יותר ניסויים, הידע בתחום גדל גם הוא ומסייע לכולנו לשפר את הרווחיות בעסק.

כדי להשאיר אתכם עם טעם של עוד הנה מודל של Gartner המתאר בצורה נפלאה ארבע רמות אפשריות לניתוח נכונים.

ארבע רמות אפשריות לניתוח נכונים

 

למעשה, לפי הגרף, ניתן לומר כי קיימים ארבע סוגי הסתכלויות על נתונים:

  1. הסתכלות תיאורית שמסבירה מה קרה בעבר לפי הנתונים האלו. למשל: "ניתן לראות שבחודש ינואר התבצעו 100 רכישות פחות מחודש פברואר".
  2. הסתכלות דיאגנוסטית, שלא מסתפקת בציון העבודות אלא מנסה לתת להן הסבר: "הירידה במספר הרוכשים קשורה לחגים שיש בחודש פברואר".
  3. הסתכלות ניבויית שלא מסתפקת בציון העובדות ובמתן הסבר אלא מנסה גם לנבות את העתיד: "בפברואר הבא שוב יהיו ירידות באחוז הרוכשים בעקבות החגים הצפויים".
  4. הסתכלות מרשמית שלא מסתפקת בציון העובדות, הסבר וניבויי אלא גם מציעה פתרון: " אם נציע מבצעים רלוונטיים, אותם רוכשים יבצעו יותר רכישות וכך נכסה על הירידה הצפויה"

אם כך, A / B testing הוא בעצם ההסתכלות הרביעית במודל של Gartner.

בהסתכלות כזאת אנחנו לא רק מסתכלים על העובדות אלא מנבאים בעזרתן את העתיד ופועלים לשפר אותו.

בהצלחה 🙂

עשהאל דרייר
עשהאל דרייר
עוסק בקידום אתרים כ- 7 שנים, מנכ"ל סוכנות הדיגיטל - עשהאל דרייר בע"מ, יזם, מדבר בפתרונות ומוביל את לקוחותיו לשפע כלכלי.

אהבתם ? שתפו את המאמר עכשיו!

שיתוף ב facebook
שיתוף ב google
שיתוף ב twitter
שיתוף ב linkedin