כש A\B Testing פוגש רוטב פסטה

בדיקות A\B Testing מלוות אותנו החל מתחילת שנות ה-2000 וכיום, בחברות הגדולות כמו גוגל, מייקרוסופט וכו' מתקיימות מעל 10,000 בדיקות כאלו ברמה החודשית.

התהליך הזה כולל שלושה שלבים עיקריים:

1. תכנון - מה רוצים לבדוק, ואיך מודדים הצלחה.

2. ביצוע - המבחן עצמו בכלי ידני / אוטומטי (שכל אחד מהם יכול להיות פנימי או חיצוני).

3. תוצאות - בחינת התוצאות שעל פי מובהקות סטטיסטית, נקבל החלטה האם ואיך נרצה לשנות את המוצר שלנו.

מה הסיפור?

לדוגמא, אנחנו מוכרים חולצות ורוצים לבדוק האם המשתמשים שלנו יעדיפו לרכוש חולצה שחורה או לבנה. בניסוי הראשון - נעלה מבחן שיבקש מהם לבחור בין השתיים ונגיד, לצורך העניין שהתוצאות הציגו ש-70% מהלקוחות העדיפו את החולצה השחורה. בניסוי השני - נרצה לבדוק את השחורה (שניצחה בסבב קודם) אל מול האדומה, ונגיד שהפעם התוצאות הן 60% לחולצה האדומה מול השחורה. האם החולצה האדומה טובה מהשחורה והלבנה? האם נכון לנו לעצור את המכירות של החולצה השחורה ולהתחיל למכור רק את האדומה?

במבחן הראשון 30% מהלקוחות רצו לרכוש את הלבנה, אבל האופציה לא קיימת, האם ירכשו את האדומה במקום?

המסקנה

תהליך A\B Testing יכול להציג את התוצאות של הברירה הטובה ביותר, רק בהנחה ודרושה לנו תוצאה אחת. אבל במוצרים דינאמיים, מרובי פיצ'רים ומוצרים שהיעדים שלהם הם להיות תואמים לכמה שיותר לקוחות או להרוויח הכי הרבה ממכירות - דרושות לנו יותר מתוצאה אחת והיינו רוצים לבחור את הטובות שבין האופציות הקיימות.

מה היינו יכולים לעשות אחרת?

היה עדיף שנציג 10 חולצות בצבעים שונים, ונאפשר ללקוחות שלנו לבחור מביניהן 1, אולי 2 ואולי אפילו 3. מתוך התוצאות שיוצגו, נקבל את כמות המשתמשים שבחרו בכל אחת מהחולצות (ולא רק "האחת המנצחת"). עכשיו, נוכל לעשות עם התוצאות האלה פעולות נוספות.

אולי נחליט שאנחנו רוצים למכור את כל שלושת הצבעים, כדי להגדיל את כמות המכירות לעומת מכירה של צבע אחד בלבד.

מה הקשר לספגטי?

מלקולם גלדוול הוא חוקר, סופר ועיתונאי בתחום מדעי החברה, והוא מצטט באופן משעשע מתוך עבודתו של הווארד מוסקוביץ שנודע במיוחד על פועלו בתעשיית הפסטה. בסרטון ה-TED שלו אפשר לצפות כאן, ניסיתי לקצר את הסרטון ל 2 דקות קריאה:

אי שם בשנות ה-70 חברת פרגו התקשתה להתחרות במכירת רגו (שזהו רוטב הספגטי הסמיך).

הווארד הוזמן לבדוק איך אפשר לשפר את מכירת רטבי הפסטה ולייעץ: "מהו רוטב הספגטי האהוב ביותר על האמריקאים".

הווארד טען שאין רוטב ספגטי אחד שהוא אהוב מכולם, יש כמה אהובים ביותר.

הוא יצר 45 סוגי רטבים לספגטי: אחד יותר מלוח ואחר פחות, אחד עם יותר שום ואחר עם פחות, מימי יותר, עם פחות עגבניות, מריר יותר ובנוסף, יצר גרסת רוטב "Extra Chunky" (גושי ועשיר ברכיבים במצבם הגולמי).

הווארד יצא לרחבי ארה"ב לבקש מהקהל במדינות השונות לטעום בכל פעם מעשר קערות ספגטי שונות.

כל נסיין היה צריך לרשום מ 0-10 עד כמה הוא אהב כל אחת מהאופציות.

כך, הוא לא קיבל את הספגטי האחד האהוב, אלא את הרטבים האהובים ביותר ברחבי ארה"ב.

הוא קיבץ את התוצאות לקבוצות, וקיבל 3 תשובות:

אנשים אוהבים ספגטי רגיל, אנשים אוהבים ספגטי פיקנטי ויש אנשים שאוהבים אותו אקסטרה צ'נקי (גושי).

התוצאה השלישית היא בעצם הכי משמעותית משתי סיבות:

1. באותם הימים לא היה בכלל רוטב אקסטרה צ'נקי ברשתות המזון.

2. אם היינו עושים קבוצת חשיבה עם לקוחות ושואלים אותם "איזה רוטב הכי ישמח אותך?", כנראה שאקסטרה צא'נקי לא היה עולה מפרי הדמיון שלהם.

מעניין לגלות, שמרגע השקת שלושת המוצרים החדשים, חברת פרגו השתלטה על כל תעשיית הרטבים בארה"ב. לאורך 10 השנים הבאות הרוויחו 600 מיליון דולר רק ממכירות של רוטבי-פסטה.

מסקנות מהמחקר של הווארד:

1. לשאול את הלקוחות שלכם "מה אתם רוצים?" (כשאלה פתוחה), לא בהכרח יביא לתוצאות הרלוונטיות. אף אחד לא העלה את הרעיון שהם הכי היו רוצים רוטב פסטה אקסטרה צ'אנקי וזאת, למרות שזה אחד הטעמים הכי אהובים על האמריקאים. אנשים לא תמיד יודעים להסביר מה הם רוצים.

2. דמוקרטיית המוצרים - החשיבה המוצרית לא צריכה להיות לפי טוב או לא טוב, וגם לא בהכרח ש-X יותר טוב מ Y. אין מוצרים טובים יותר וטובים פחות, גבוהים/יוקרתיים יותר ואלו שפחות. כולם טובים, אם כי כל אחד יתאים לקהל אחר.

3. התבשיל האידאלי - האוורד האמין שאין דבר כזה לבשל תבשיל בצורה אחת אידאלית. "ככה צריך לעשות את זה" כמו באיטליה, או כי "ככה עושים את זה במסעדות יוקרה". למרות שקודמיו לא העזו לשנות את רוטב הספגטי הנוזלי, בעל המרקם האחיד, עד לאותה תקופה, נראה שהגרסה האותנטית למוצר היא לא בהכרח הכי טובה לשוק מסויים. ככל שנרבה באפשרויות שיש להן ביקוש - כך נרוויח יותר.

4. קיבוץ - אם נבקש מקבוצה של 100 אנשים לייצר ביחד את טעם הקפה הטוב ביותר בשבילם, הם יביאו נוסחה שתאפשר להם להגיע לציון כולל של 60. אבל אם את אותה הקבוצה נחלק לקבוצות קטנות יותר ונבקש מכל קבוצה לייצר טעם מועדף של קפה הציון הממוצע בכל קבוצה יעלה ל: 75-78.

המסקנה הכוללת היא שאם נאמץ את השוני והמגוון ביננו, נאפשר ליותר לקוחות שלנו להיות מאושרים באמת!