מאמרים
אפיון פרויקט RAG או עוזר AI: רשימת בדיקות
30 שאלות שכדאי לסגור לפני בניית מערכת RAG או עוזר AI: מקרה שימוש, נתונים, בקרת גישה, retrieval, בחירת מודל, הערכה, תפעול ו-go/no-go.
צוות ההנדסה של sigmacode.io8 דקות קריאה
בעמוד הזה (9)
רוב פרויקטי עוזרי AI שמאכזבים לא נכשלים בגלל המודל. הם נכשלים כי אף אחד לא הסכים למה העוזר מיועד, התוכן הבסיסי היה חלקי או מיושן, הרשאות היו מחשבה שלאחר מעשה, או שלא הייתה דרך לדעת אם שינוי שיפר או החריף את המצב. בחירת המודל חשובה, אבל היא בדרך כלל אחת ההחלטות הקלות יותר.
רשימת הבדיקות הזו מרכזת את השאלות שאנחנו עוברים עליהן לפני שבונים מערכת retrieval-augmented generation (RAG) או עוזר AI על נתוני חברה. השתמשו בה כדי להכין פרויקט פנימי, לתדרך ספק, או לבדוק אם הצעה שקיבלתם מכסה את היסודות. אתם לא צריכים כל תשובה ביום הראשון, אבל כדאי שתדעו אילו עדיין פתוחות.
1. מקרה שימוש וקריטריוני הצלחה#
כתבו את אלה לפני שמישהו פותח notebook או משווה מודלים.
- משימה עיקרית אחת. ציינו את המשימה הבודדת שהעוזר חייב לעשות טוב קודם, למשל מענה על שאלות מוצר של נציגי תמיכה או מציאת סעיפים בחוזי ספקים. מקרי שימוש נוספים יכולים לבוא אחרי שהראשון נמדד; ערבוב כמה מהם בהתחלה מטשטש גם את הדרישות וגם את ההערכה.
- משתמשים והמצב שלהם. תארו מי שואל, באיזו תדירות, באיזו שפה ובאיזה מכשיר, ומה הם עושים עם התשובה. מומחה פנימי שבודק מקורות צריך משהו אחר מלקוח שפועל לפי התשובה ישירות.
- שאלות אמיתיות עם תשובות אידיאליות. אספו 20–50 שאלות אמיתיות מטיקטים, אימיילים או לוגים של צ'אט, ותנו למומחה תחום לכתוב את התשובה האידיאלית ולציין את המקור שהיא צריכה לבוא ממנו. הסט הזה מגדיר מה "טוב" אומר והופך לזרע של ה-evaluation set שלכם.
- מחוץ להיקף וסירובים. רשמו מה העוזר אסור לו לעשות: לתת ייעוץ משפטי, רפואי או פיננסי, לענות מעבר למקורות שלו, לקחת התחייבויות בשם החברה. החליטו מה הוא צריך לומר במקום ולאן להפנות את המשתמש.
- Baseline של התהליך הנוכחי. תעדו איך העבודה מתבצעת היום, כמה זמן היא לוקחת, מי עושה אותה וכמה היא עולה. בלי baseline, "העוזר עוזר" היא דעה ולא תוצאה.
2. מקורות נתונים#
איכות התשובות מוגבלת על ידי איכות ונגישות התוכן שמאחוריהן.
- מלאי מקורות. רשמו כל מקור שהעוזר צריך להשתמש בו: ויקים, תיקיות SharePoint או Google Drive, מערכות טיקטים, בסיסי נתונים, PDFs, אתרים. לכל אחד, ציינו איך אפשר לגשת אליו (API, ייצוא, סריקה) ואם הגישה הזו מותרת.
- פורמטים ואיכות מסמכים. בדקו PDFs סרוקים שצריכים OCR, טבלאות מורכבות, טפסים, מצגות ותמונות שמכילים תוכן חיוני. טבלאות וסריקות הם המקום שבו pipelines נאיביים מאבדים הכי הרבה מידע, אז דגמו אותם מוקדם.
- בעלות וטריות. מנו בעלים לכל מקור ותעדו באיזו תדירות הוא משתנה. אם אף אחד לא בעלים על התוכן, אף אחד לא יתקן את התשובות הלא נכונות שמגיעות ממנו.
- כפילויות, גרסאות ושפות. זהו עותקים מיושנים, טיוטות וגרסאות מקבילות של אותה מדיניות, והחליטו איזו סמכותית. ציינו את שפות המסמכים והשאלות, כי retrieval חוצה-שפות צריך להיבדק במפורש.
3. בקרת גישה ופרטיות#
סגרו את אלה לפני שמידע אמיתי עוזב את המערכות שלכם.
- הרשאות שמועברות ל-retrieval. אם משתמשים רשאים לראות רק מסמכים מסוימים, ה-retrieval חייב לסנן לפי ההרשאות של המשתמש המבקש, מסונכרנות ממערכות המקור. הוראות ב-prompt או אמון במודל להסתיר תוכן אינם בקרת גישה.
- מידע אישי ובסיס חוקי. זהו מידע אישי במסמכים, בשאלות ובלוגים, ותעדו את הבסיס החוקי והמטרה של עיבודו לפי GDPR. שתפו את ה-DPO שלכם בהתחלה, לא בהשקה.
- חוזה ספק ומיקום נתונים. חתמו על הסכם עיבוד נתונים עם כל ספק מודלים ותשתית, סקרו את ה-sub-processors שלהם, וודאו שהעיבוד יכול להישאר באזור EU אם אתם דורשים זאת. קבלו אישור בכתב שהנתונים שלכם לא משמשים לאימון מודלים של הספק.
- שמירה, לוגים ואנונימיזציה. החליטו כמה זמן prompts, קטעים שאוחזרו ותשובות נשמרים, מי יכול לקרוא אותם והאם מידע אישי מושחר לפני הלוגינג. לוגים נחוצים לדיבוג והערכה, אז המטרה היא שמירה מבוקרת, לא אפס לוגים.
4. עיצוב ה-retrieval#
רוב התשובות הלא נכונות במערכות RAG חוזרות ל-retrieval ולא למודל; ל-corpus קטן ויציב, long context עם prompt caching עשוי להחליף את ה-retrieval לגמרי (ראו RAG vs fine-tuning).
- Chunking לאורך מבנה המסמך. פצלו תוכן לפי כותרות, סעיפים, פריטי רשימה וגבולות טבלאות במקום מספרי תווים קבועים. שמרו את נתיב הכותרות עם כל chunk כדי שקטע עדיין יהיה הגיוני בפני עצמו.
- Metadata ומסננים. אחסנו כותרת, מקור, סעיף, תאריך, שפה, גרסה וקבוצות גישה עם כל chunk. Metadata הוא מה שהופך סינון הרשאות, כללי "הגרסה האחרונה בלבד" וציטוטים שימושיים לאפשריים.
- חיפוש היברידי ו-reranking. שלבו חיפוש מילות מפתח למונחים מדויקים כמו קודי מוצר, מספרי מאמרים ושמות עם חיפוש וקטורי על embeddings למשמעות, ואז בצעו rerank למועמדים המשולבים. בדקו כל שלב מול שאלות הדוגמה שלכם במקום להניח שברירות המחדל מספיק טובות.
- ציטוטים חובה. דרשו שהעוזר יצטט את הקטעים שהשתמש בהם, עם קישור למסמך המקור והסעיף. ציטוטים מאפשרים למשתמשים לאמת תשובות ולסוקרים לראות אם תשובה שגויה נבעה מ-retrieval גרוע או generation גרוע.
5. בחירת מודל וספק#
בחרו את המודל אחרי שיש לכם evaluation set, כדי שההחלטה תסתמך על הנתונים שלכם ולא על benchmarks גנריים.
- אופציית אירוח. השוו API מתארח, אותם מודלים או דומים באזור EU בענן, ומודל open-weight מתארח עצמאית על התשתית שלכם. כל אופציה מזיזה את האיזון בין איכות תשובה, שליטה בנתונים, מאמץ תפעולי ועלות.
- Latency ועלות לשאילתה. מדדו זמן תגובה מקצה לקצה ועלות לשאלה שנענתה על שאלות הדוגמה שלכם, כולל retrieval, reranking וטוקני קלט ופלט. Prompt caching ומודלים קטנים יותר לשלבים פשוטים יכולים לשנות את המספרים האלה ניכר.
- Fallback ו-lock-in. תכננו מה קורה כשהספק למטה או מוציא מודל משימוש: ספק שני, מצב מופחת או הודעת שגיאה ברורה. שמרו prompts, ה-evaluation set ושכבת ה-retrieval ניטרליים לספק, כדי שהחלפה תהיה שינוי קונפיגורציה פלוס ריצת eval ולא שכתוב.
6. הערכה#
אם אתם לא יכולים למדוד איכות, אתם לא יכולים לשפר אותה או להגן על החלטת ה-go-live.
- Eval set לפני הבנייה. הפכו את השאלות האמיתיות מסעיף 1 ל-evaluation set בניהול גרסאות עם תשובות צפויות ומקורות צפויים, והרחיבו אותו במקרים קשים ומקרי קצה. בנו אותו לפני הפרוטוטיפ הראשון, לא אחרי הדמו הראשון.
- איכות retrieval ואיכות תשובה. מדדו בנפרד אם הקטעים הנכונים אוחזרו ואם התשובה נכונה, מלאה ונאמנה לקטעים האלה. בדקו דיוק ציטוטים: הקטע המצוטט חייב באמת לתמוך בטענה.
- בדיקות סירוב ו-prompt injection. כללו שאלות שהעוזר חייב לדחות ושאלות שהמקורות שלו לא יכולים לענות עליהן, וודאו שהוא אומר זאת במקום לנחש. הוסיפו מסמכים וקלטים שמנסים לעקוף את ההוראות שלו או לחלץ נתונים של משתמשים אחרים, וודאו שהם נכשלים.
- ריצות רגרסיה וסקירה אנושית. הריצו את ה-eval set המלא על כל שינוי ב-prompts, במודלים, ב-chunking או בנתונים, והשוו את התוצאות לריצה הקודמת. מתן ציונים אוטומטי עם מודל מאיץ את זה, אבל מומחה תחום צריך לבצע בדיקות מדגמיות באופן קבוע.
7. אינטגרציה ותפעול#
העוזר חייב לחיות איפשהו, ומישהו חייב להפעיל אותו אחרי ההשקה.
- ערוץ וכניסה. החליטו איפה העוזר חי: וידג'ט באתר, Slack או Microsoft Teams, כלי פנימי או מערכת טיקטים קיימת. השתמשו ב-SSO הקיים שלכם כדי שזהות והרשאות יגיעו מאותו מקום כמו בכל מקום אחר.
- העברה לאדם ומשוב. הגדירו איך משתמש מגיע לאדם כשהעוזר לא יכול לעזור, עם העברת השיחה. הוסיפו כפתורי משוב פשוטים ונתבו משוב שלילי ל-evaluation set.
- מודל עלות וניטור. העריכו עלות לשאילתה ולחודש בשימוש צפוי ושיא, והגדירו התראות תקציב. נטרו latency, שיעורי שגיאות, שיעורי סירוב ומשוב משתמשים, עם לוגים מושחרים כפי שסוכם בסעיף 3.
- אינדוקס מחדש, בעלות תוכן ותקלות. אוטמטו אינדוקס מחדש כשמסמכי מקור משתנים, כולל מחיקות, כדי שהעוזר לעולם לא יצטט תוכן שבוטל. מנו מי מתקן בעיות תוכן והגדירו תהליך תקלה לתשובות שגויות, מזיקות או דולפות, כולל איך לכבות את העוזר במהירות.
8. קריטריוני go/no-go#
סכמו על כללי ההחלטה לפני שהתוצאות מגיעות, כדי שההחלטה לא תתקבל על סמך דמו טוב.
- ספים מוסכמים מראש. כתבו רמות מינימום לנכונות תשובות ודיוק ציטוטים על ה-eval set, latency ועלות מקובלים לשאילתה, ואפס סובלנות לתשובות שחוצות גבולות הרשאות. השוו את התוצאות ל-baseline מסעיף 1.
- פיילוט מוגבל בזמן עם יציאה ברורה. הריצו פיילוט עם קבוצה קטנה של משתמשים אמיתיים לתקופה קבועה, עם אדם ממונה שמקבל את ההחלטה. צמצום היקף או עצירה הם תוצאה לגיטימית, והרבה יותר זולה מלגלות אחרי פריסה מלאה.
איך אנחנו יכולים לעזור#
אם אתם רוצים לעבור על רשימת הבדיקות הזו איתנו, הדרך הישירה ביותר היא ה-AI Proof-of-Value Sprint שלנו בהיקף קבוע. בשבועיים אנחנו מאפיינים את מקרה השימוש איתכם, בונים פרוטוטיפ RAG או agent על הנתונים שלכם, יוצרים evaluation set, מכינים מודל עלות ומספקים דוח go/no-go שאתם יכולים להביא לקבלי ההחלטות שלכם. הפרטים בעמוד התמחור שלנו ובשירותי AI & Automation.
לפני שאף אחד מהמסמכים שלכם מגיע למודל, אנחנו מסכמים איתכם איך מטפלים בנתונים; אתם יכולים לקרוא מראש איך אנחנו מטפלים בנתוני לקוחות בפרויקטי AI. אם אתם מעדיפים להתחיל בשיחה, בקשו הערכה חינם ותארו את מקרה השימוש שיש לכם בראש.