מאמרים
RAG מול fine-tuning: מה עסקים צריכים
RAG, fine-tuning, long context עם prompt caching או structured outputs? מדריך בשפה פשוטה לבחירת הגישה הנכונה, עם רשימת בדיקות להחלטה.
צוות ההנדסה של sigmacode.io9 דקות קריאה
בעמוד הזה (8)
כמעט כל פרויקט AI שאנחנו דנים בו עם לקוחות מתחיל באותה שאלה: "כדאי לנו לעשות fine-tuning למודל על הנתונים שלנו?" לפעמים התשובה היא כן. לעיתים קרובות יותר, הצורך האמיתי הוא משהו אחר: עוזר שמכיר את המסמכים העדכניים שלכם, מצטט את המקורות שלו ואפשר לעדכן אותו ביום שלישי אחר הצהריים בלי ריצת אימון. המאמר הזה מסביר את האפשרויות העיקריות בשפה פשוטה, מתי כל אחת מתאימה, ואיך מחליטים בלי לשרוף חודשים על הגישה הלא נכונה.
ארבעת הכלים בארגז#
כשאנשים אומרים "ללמד את המודל על העסק שלנו", הם בדרך כלל מתכוונים לאחת מארבע טכניקות שונות. הן פותרות בעיות שונות, ואפשר לשלב ביניהן.
Retrieval-augmented generation (RAG)#
RAG משאיר את המודל ללא שינוי. במקום זאת, כשמגיעה שאלה, המערכת קודם מחפשת בתוכן שלכם — מדריכים, חוזים, טיקטים או קטלוג מוצרים — ומעבירה למודל את הקטעים הרלוונטיים ביותר יחד עם השאלה. המודל עונה על בסיס הקטעים האלה.
שלושה רעיונות חשובים כאן:
- Retrieval: מציאת הקטעים הנכונים. זה בדרך כלל שילוב של חיפוש סמנטי על embeddings וחיפוש מילות מפתח קלאסי, ולעיתים קרובות שלב re-ranking בסוף.
- Grounding: הוראה למודל לענות מתוך החומר שסופק, ולומר זאת במפורש כשהחומר לא מכיל את התשובה.
- Citations: הצבעה על המסמך, העמוד או הקטע המדויק שממנו הגיעה התשובה, כדי שבן אדם יוכל לבדוק אותה.
RAG מצטיין כשהידע משתנה לעיתים קרובות, כשה-corpus גדול, וכשאנשים צריכים לאמת תשובות.
Fine-tuning#
Fine-tuning ממשיך את אימון המודל על דוגמאות משלכם, כך שההתנהגות שלו משתנה. הוא טוב בללמד איך לענות: טון עקבי, פורמט פלט נוקשה, סכמת סיווג ספציפית לתחום, או משימה צרה שמתבצעת אלפי פעמים ביום. הוא דרך גרועה ללמד מה נכון כרגע. עובדות שנלמדות דרך fine-tuning קשה לעדכן, קשה לעקוב אחריהן חזרה למקור, והן עלולות להתערבב או להיזכר לא נכון.
Fine-tuning גם מאפשר להעביר משימה צרה למודל קטן, זול ומהיר יותר, דבר שיכול להיות משמעותי מאוד בווליום גבוה.
Long-context prompting עם prompt caching#
מודלים מודרניים של Anthropic, OpenAI וכמה משפחות open-source מקבלים קלטים ארוכים מאוד. אם בסיס הידע שלכם צנוע בגודלו — למשל מדריך מוצר, סט מדיניות או אוסף שאלות נפוצות — לעיתים קרובות אפשר לשים את כולו ישירות בתוך ה-prompt. בלי אינדקס, בלי pipeline של retrieval, בלי החלטות chunking.
ההתנגדות המתבקשת היא עלות ו-latency: לשלוח את אותו מסמך גדול עם כל בקשה זה בזבוז. Prompt caching פותר את זה. הספקים יכולים לשמור במטמון prefix יציב של ה-prompt, כך שבקשות חוזרות משתמשות מחדש בתוכן שכבר עובד, ומחויבות ומוגשות ביעילות רבה יותר. עבור גוף ידע יציב וחסום, long context עם caching הוא לעיתים קרובות הדבר הפשוט ביותר שעובד.
Structured outputs#
פרויקטי "AI" רבים הם למעשה פרויקטי חילוץ: קוראים חשבונית, קורות חיים, חוזה או אימייל, ומפיקים שדות נקיים. כאן היכולת המרכזית היא structured outputs, שבהן המודל מוגבל להחזיר נתונים שתואמים לסכמה שאתם מגדירים — למשל JSON עם שדות וטיפוסים ספציפיים. זה בכלל לא קשור לידע. זה קשור לאמינות של הפורמט, ובדרך כלל זה מבטל את הצורך ב-fine-tuning במשימות חילוץ.
מתי כל גישה מתאימה#
דרך שימושית לחשוב על זה: להפריד בין ידע לבין התנהגות.
- ידע טרי או משתנה, ותשובות שאנשים חייבים לאמת: השתמשו ב-RAG, או ב-long context אם החומר קטן מספיק. שתיהן מאפשרות לעדכן ידע על ידי עדכון מסמכים, ושתיהן תומכות בציטוטים.
- ידע יציב וחסום שנכנס בחלון הקונטקסט: התחילו עם long context ו-prompt caching. עברו ל-RAG כשהחומר גדל מעבר לכך או כשאתם צריכים בקרת גישה מדורגת לכל מסמך.
- סגנון, טון או פורמט עקביים על פני פלטים רבים: קודם נסו הוראות ברורות וכמה דוגמאות טובות ב-prompt. אם זה לא מספיק בווליום שלכם, fine-tuning הוא אופציה לגיטימית.
- סיווג או routing צרים בסקייל גבוה: fine-tuning של מודל קטן יותר, או פשוט שימוש במודל כללי קטן יותר עם prompt מעוצב היטב, הוא לעיתים קרובות הנתיב החסכוני ביותר.
- חילוץ שדות ממסמכים: structured outputs, אופציונלית בשילוב עם קלטי מסמכים וציטוטים כך שאפשר לעקוב אחר כל ערך שחולץ.
אלה לא אפשרויות ששוללות זו את זו. מערכת בוגרת עשויה להשתמש ב-RAG לידע, ב-structured outputs לפורמט התשובה ובמודל קטן עם fine-tuning ל-routing של בקשות נכנסות.
השוואה זו לצד זו#
| קריטריון | RAG | Long context + caching | Fine-tuning | Structured outputs |
|---|---|---|---|---|
| עדכניות הידע | גבוהה: מעדכנים את האינדקס | גבוהה: מעדכנים את המסמכים | נמוכה: דורש אימון מחדש | לא טכניקת ידע |
| עלות עדכון | נמוכה: אינדוקס מחדש של מסמכים שהשתנו | נמוכה מאוד: עורכים את המקור | גבוהה: dataset חדש וריצת אימון | נמוכה מאוד: עורכים את הסכמה |
| עקיבות וציטוטים | חזקה, אם מובנית במערכת | חזקה, עם ציטוטי מסמכים | חלשה: אין מקור להצביע עליו | טובה בשילוב עם ציטוטים |
| דרישות נתונים | המסמכים הקיימים שלכם | המסמכים הקיימים שלכם | דוגמאות רבות, מסוננות ואיכותיות | סכמה ומסמכי דוגמה |
| זמן לגרסה ראשונה | ימים עד שבועות | שעות עד ימים | שבועות, כולל הכנת נתונים | שעות עד ימים |
| סיכונים עיקריים | retrieval חלש, אינדקס מיושן, prompt injection דרך מסמכים | מגבלות קונטקסט, עלות אם לא משתמשים ב-caching | עובדות מיושנות, overfitting, הטיה נסתרת בנתוני האימון | סכמה נוקשה מדי או רפויה מדי |
רשימת בדיקות מעשית לקבלת החלטה#
לפני שבוחרים ארכיטקטורה, ענו בכנות על השאלות הבאות:
- מהי המשימה, בדיוק? מענה על שאלות, ניסוח טקסט, סיווג או חילוץ? רשמו חמש דוגמאות אמיתיות של קלט ופלט אידיאלי.
- באיזו תדירות הידע הבסיסי משתנה? שינויים יומיים או שבועיים מצביעים חזק על הימנעות מ-fine-tuning.
- האם המשתמשים צריכים לאמת תשובות? בהקשרים משפטיים, פיננסיים, compliance, תמיכה או בריאות, ציטוטים הם בדרך כלל תנאי שלא ניתן למיקוח.
- מה גודל בסיס הידע? אם הוא נכנס בנוחות בחלון קונטקסט, נסו קודם long context עם caching.
- מי רשאי לראות מה? אם למשתמשים שונים יש גישה למסמכים שונים, אתם צריכים retrieval עם סינון הרשאות — לא prompt משותף אחד או מודל שאומן על הכול.
- אילו ווליום ו-latency אתם מצפים להם? ווליום גבוה על משימה צרה הוא המקום שבו מודלים קטנים או fine-tuned מצדיקים את עצמם.
- יש לכם דוגמאות מתויגות? Fine-tuning בלי סט משמעותי של דוגמאות טובות רק לעיתים נדירות מנצח prompt כתוב היטב.
- איך תמדדו הצלחה? אם אין לכם תשובה, עצרו ובנו קודם evaluation set.
אם רוב התשובות מצביעות על "ידע משתנה, צורך בציטוטים, ווליום בינוני", אתם רוצים RAG או long context. אם הן מצביעות על "משימה יציבה, פורמט נוקשה, ווליום גבוה מאוד", שקלו fine-tuning או מודל קטן יותר.
מלכודות נפוצות#
אלה הבעיות שאנחנו רואים הכי הרבה כשאנחנו סוקרים מערכות AI ש"כמעט עובדות".
- Chunking גרוע. חלוקת מסמכים לחתיכות שרירותיות בגודל קבוע חותכת טבלאות לשניים, מפרידה בין כותרות לתוכן שלהן ומאבדת קונטקסט. חלקו לאורך מבנה המסמך ושמרו metadata שימושי כמו כותרת, סעיף ותאריך.
- אין הערכות. בלי test set, כל שינוי הוא ניחוש. צוותים מכווננים prompts, מחליפים מודלים ומשנים גדלי chunks בלי לדעת אם הדברים השתפרו או החריפו.
- אינדקסים מיושנים. מסמכי המקור עודכנו, האינדקס לא. העוזר מצטט בביטחון את המדיניות של שנה שעברה. אינדוקס מחדש חייב להיות חלק מזרימת העבודה של התוכן, לא מחשבה ידנית שלאחר מעשה.
- הזיות בלי ציטוטים. אם המערכת לא מראה מאיפה הגיעה תשובה, המשתמשים לא יכולים להבדיל בין תשובה מבוססת מקורות לתשובה מומצאת. דרשו ציטוטים ולמדו את המודל להגיד "אני לא יודע" כשהמקורות שותקים.
- פרטיות ו-GDPR. מידע אישי במסמכים, ב-prompts ובלוגים הוא עדיין מידע אישי. דעו איזה ספק מעבד אותו, באיזה אזור, תחת איזה הסכם עיבוד נתונים, וכמה זמן הלוגים נשמרים. Fine-tuning על מידע אישי מצריך זהירות מיוחדת, כי קשה להסיר אותו אחר כך.
- Prompt injection ממסמכים. תוכן שאוחזר הוא קלט לא מהימן. מסמך יכול להכיל טקסט שמנסה להורות למודל — למשל להתעלם מהכללים שלו או לחשוף נתונים אחרים. התייחסו לטקסט שאוחזר כנתונים, הגבילו מה שהמודל יכול לעשות עם כלים, ולעולם אל תנו לתוכן מסמך להעניק הרשאות.
הערכה לפני אופטימיזציה#
הצעד הכי בעל ערך בכל פרויקט AI הוא גם הכי פחות זוהר: בנו evaluation set לפני שבחרתם ארכיטקטורה.
סט התחלתי טוב הוא פשוט כמה עשרות עד כמה מאות שאלות או קלטים אמיתיים, כל אחד עם התשובה הצפויה או המסמכים שצריך לצטט. ואז מודדים:
- איכות ה-retrieval: האם המערכת מצאה את הקטעים הנכונים?
- איכות התשובה: האם התשובה נכונה, מלאה ומבוססת על המקורות?
- דיוק הציטוטים: האם הקטעים המצוטטים באמת תומכים בטענה?
- התנהגות סירוב: האם היא אומרת "אני לא יודע" כשצריך?
- התאמה לפורמט: בחילוץ, האם כל פלט תואם את הסכמה?
עם זה במקום, השוואות הופכות לעובדתיות. אפשר לבדוק long context מול RAG, מודל אחד מול אחר, או מודל fine-tuned מול מודל מבוסס prompt — על הנתונים שלכם ולא על benchmarks גנריים. לעיתים קרובות תגלו שהתיקון הזול ביותר הוא retrieval טוב יותר או prompt ברור יותר, לא מודל גדול יותר או ריצת אימון.
מתן ציונים אוטומטי עם מודל יכול להאיץ את זה, אבל בצעו בדיקות מדגמיות עם סוקרים אנושיים, במיוחד בשלבים המוקדמים.
איך הדמואים שלנו ממחישים את הדפוסים#
אנחנו מנסים ליישם את מה שאנחנו ממליצים, ושני דמואים באתר הזה מראים את הדפוסים בפעולה.
ה-sigmacode Assistant עונה על שאלות על השירותים והגישה שלנו. בסיס הידע שלו קטן וקפוא בכוונה, אז במקום pipeline של retrieval הוא משתמש ב-long-context prompting עם prompt caching: כל בסיס הידע יושב ב-prefix של prompt ששמור במטמון, והמודל מקבל הוראה לענות רק ממנו. עבור גוף ידע חסום, זה פשוט יותר לבנות וקל יותר לשמור על נכונות מאשר אינדקס וקטורי.
ה-Document Q&A demo מראה את הצד השני. אתם מספקים מסמך, שואלים שאלות, וכל תשובה מגיעה עם ציטוטים שמצביעים על הקטעים שהיא הסתמכה עליהם. זו ההבטחה המרכזית של grounded AI: אפשר לבדוק כל טענה מול המקור שלה.
אף אחד מהדמואים לא דרש fine-tuning. זה טיפוסי. עבור רוב בעיות הידע העסקיות, grounding והערכה טובה חשובים יותר מאימון מותאם אישית.
הגרסה הקצרה#
- השתמשו ב-RAG כשהידע גדול, משתנה לעיתים קרובות, צריך בקרת גישה או חייב להיות מצוטט.
- השתמשו ב-long context עם prompt caching כשהידע יציב ונכנס בחלון.
- השתמשו ב-fine-tuning או במודלים קטנים יותר להתנהגות עקבית או משימות צרות בווליום גבוה — לא לעובדות.
- השתמשו ב-structured outputs לחילוץ ולכל פלט שמערכת צריכה לנתח.
- העריכו קודם, ואז מטבו את מה שהמספרים אומרים לכם.
אם אתם שוקלים את האפשרויות האלה לפרויקט אמיתי, צוות ה-AI & Automation שלנו, בהובלת tech lead עם 20+ שנות ניסיון, יכול לעזור לכם לאפיין אותו, לבנות evaluation set ולשחרר גרסה ראשונה שאפשר באמת למדוד. צרו קשר וספרו לנו מה אתם מנסים לפתור.