איך בודקים שתהליך מרובה סוכנים שווה את העלות שלו?

בונים מדגם עם תשובות ידועות

בוחרים 10 עד 30 פריטים מהחומר האמיתי. על חלק מהפריטים ידועה מראש התשובה הנכונה. למשל מסמך שיש בו התחייבות ספציפית, או מסמך נקי שאין בו שום ממצא. רושמים את התשובות בצד לפני כל הרצה.

המחשה: בבדיקה של 200 מסמכים מול מדיניות חדשה, בוחרים 20 מסמכים, מסמנים ידנית אילו התחייבויות מופיעות בהם, ושומרים את הרשימה כמפתח בדיקה.

מריצים שתי קבוצות על אותו מדגם

הרצה אחת עם סוכן יחיד שמטפל בכל הפריטים. הרצה שנייה עם תהליך מרובה סוכנים, למשל סוכני קריאה, סוכני בדיקה ושלב חיבור דוח. אותם פריטים, אותה הוראה, אותה גרסת מודל.

מודדים שלושה מספרים

דיוק: כמה מהממצאים מהמפתח נמצאו בכל הרצה. רעש: כמה ממצאים שגויים נוספו. עלות: טוקנים, זמן ריצה וכמה פעמים נדרש מעבר חוזר.

בהדגמה של Anthropic ב-Latent Space תוארה סריקת רשימת מניות עם שלב review שעלתה הרבה יותר מסוכן יחיד וגם מצאה יותר פרטים בדוגמה. זו המחשה של הפשרה בין עלות לכיסוי. המדגם שלכם הוא שאומר אם הפשרה משתלמת במשימה שלכם.

מחליטים לפי התוצאה

אם התהליך המרובה מצא יותר ממצאים נכונים בעלות שאתם מוכנים לשלם, מרחיבים בהדרגה. אם סוכן יחיד הגיע לאותה תוצאה, נשארים איתו. לאוסף קטן של חלקים עצמאיים, גם סקריפט פשוט יכול להיות התשובה.

מה שומרים מהבדיקה

שומרים את מפתח התשובות, את שני הדוחות ואת טבלת ההשוואה. כשמישהו שואל אחר כך מדוע בחרתם ארכיטקטורה אחת על פני אחרת, יש לכם מספרים מהמשימה שלכם ולא ציטוט מהדגמה של מישהו אחר.