איך מודדים התחלת שימוש בסוכן AI מעבר להרשמה?

מתחילים בהגדרה של שימוש מועיל

לפני טבלת מדדים, בחרו משימה אחת שהמשתמש רוצה להשלים. כתבו איזה תוצר יתקבל ומה ייבדק בו. לדוגמה מוצעת: המשתמש ביקש השוואה, קיבל מסמך עם מקורות, ובדק שכל תנאי הסף מופיע בו. עצם שליחת ההודעה לסוכן היא שלב מוקדם יותר.

השלמת משימה צריכה להתאים לסוג העבודה. הורדת קובץ אינה מוכיחה שתוכנו נכון. חיבור לחשבון אינו מוכיח שהסוכן ביצע פעולה מותרת. אם צריך אישור אנושי, מגדירים מראש האם "הושלם" כולל את האישור או נעצר בטיוטה.

מפרידים בין אירועים לבין פרשנות

בנו רשימת שלבים ברורה. המחשה סינתטית לתהליך ליווי: הצטרף, השלים חיבור מותר, בחר משימה, קיבל תוצר, בדק תוצאה וחזר למשימה נוספת. כל שלב צריך תנאי כניסה שאפשר לראות, ולא תחושה של מי שמלווה.

בתיעוד Google Analytics אירוע מודד אינטראקציה באתר או באפליקציה, ואפשר להגדיר אירוע מותאם כשאין אירוע קיים מתאים. זה עוזר לתכנן איסוף, אבל שם האירוע אינו הוכחה עסקית. אירוע שנקרא task_completed חייב להישלח רק כשההגדרה שסוכמה אכן מתקיימת.

המדריך אינו ממליץ להתקין Analytics בכל מערכת. אפשר להתחיל גם ברישום ידני מינימלי בהסכמה, בלי להעתיק את תוכן המשימה או את השיחה.

שומרים קבוצת בסיס ותקופת בדיקה

מספר המצטרפים הכולל ומספר המסיימים השבוע אינם מכנה ומונה לאותה מדידה. ייתכן שהמסיימים הצטרפו קודם, או שמצטרפים חדשים עדיין לא קיבלו זמן לבצע משימה.

בחרו קבוצת מצטרפים ומשך מעקב. לדוגמה מוצעת: מי שהצטרף בשבוע נתון, והאם הגיע לתוצר שנבדק במהלך שבעת הימים הבאים. זו הצעת ניסוי, לא חלון שמתאים לכל מוצר. משימה של כמה שעות ומשימה שתלויה בספק חיצוני דורשות פרקי זמן אחרים.

ציינו בדוח גם מתי נמדדו הנתונים. תמונת מצב ישנה לא הופכת לנתון חדש בגלל שהפוסט פורסם שוב או מאוחר יותר. תאריך הנתון ותאריך הפרסום צריכים להישאר מובחנים.

מחפשים את נקודת העצירה

דוח משפך יכול להראות איפה אנשים עוברים בין שלבים ואיפה הם נושרים. תיעוד Google Analytics מבחין בין משפך פתוח, שמאפשר כניסה בשלבים שונים, לבין משפך סגור שמתחיל בשלב הראשון. הבחירה משנה את מי שסופרים.

גם בלי כלי אנליטיקה, שאלו אם אדם עצר בגלל חיבור, חוסר בחירה של משימה, תוצר לא ברור או המתנה לאישור. אלה בעיות שונות. שליחת עוד הודעת תזכורת לכולם אינה מתקנת אוטומטית אף אחת מהן.

מספר האירועים אינו מספר אנשים. ניסיון חוזר יכול ליצור כמה אירועים של אותה משימה. הגדירו איך מזהים ניסיון, איך מטפלים בכפילויות ומה סופרים כשמשימה נפתחת מחדש.

מוסיפים בדיקת איכות קטנה

בדקו מדגם של תוצרים מול הקריטריונים שסוכמו, עם רשות לשימוש בנתונים. אפשר לבקש מהמשתמש לסמן מה עזר ומה דרש תיקון בלי לשלוח מסמך פרטי שלם.

המחשה: אם נוצרו עשרה מסמכים ורק בחלקם נבדקו המקורות, אל תחברו אותם לשורה אחת בשם "עשר הצלחות". אפשר לדווח בנפרד תוצר שהוחזר ותוצר שנבדק. כשאין ראיה לאיכות, כתבו מה חסר במקום להשלים את המספר לפי ציפייה.

מסיימים בשינוי אחד שאפשר לבדוק

בחרו את החסם הבולט והציעו שינוי קטן: הוראות חיבור ברורות יותר, משימה ראשונה קצרה יותר או בדיקת תוצאה שאפשר להבין. השוו את אותה הגדרת הצלחה בתקופה הבאה, וציינו מה השתנה.

המדידה אמורה לעזור לאנשים להגיע לתוצאה, ולא לאסוף יותר מידע עליהם. שמרו רק את מה שדרוש לשאלה שהגדרתם, עם הסכמה מתאימה ומשך שמירה ברור. הצלחת תהליך ליווי היא שימוש מועיל שאפשר להסביר, לא גידול במספר שמופיע על כרטיס.