مقالات
RAG أم الضبط الدقيق: ما تحتاجه الشركات
RAG، أم الضبط الدقيق، أم السياق الطويل مع التخزين المؤقت للموجّهات، أم المخرجات المنظّمة؟ دليل بلغة واضحة لاختيار النهج الصحيح، مع قائمة تحقق لاتخاذ القرار.
فريق هندسة sigmacode.io9 دقائق قراءة
في هذه الصفحة (8)
تبدأ معظم مشاريع الذكاء الاصطناعي التي نناقشها مع العملاء بالسؤال نفسه: «هل يجب أن نجري fine-tuning لنموذج على بياناتنا؟». أحياناً يكون الجواب نعم. وفي أغلب الأحيان، تكون الحاجة الحقيقية شيئاً آخر: مساعداً يعرف مستنداتك الحالية، ويستشهد بمصادره، ويمكن تحديثه بعد ظهر يوم ثلاثاء دون تشغيل جولة تدريب. تشرح هذه المقالة الخيارات الرئيسية بلغة واضحة، ومتى يناسب كل منها، وكيف تقرر دون حرق أشهر على النهج الخاطئ.
الأدوات الأربع في الصندوق#
عندما يقول الناس «نعلّم النموذج عن أعمالنا»، فهم يقصدون عادةً واحدة من أربع تقنيات مختلفة. وهي تحل مشكلات مختلفة، ويمكن دمجها معاً.
التوليد المعزّز بالاسترجاع (RAG)#
يترك RAG النموذج دون تغيير. وبدلاً من ذلك، عندما يصل سؤال، يبحث النظام أولاً في محتواك الخاص — مثل الأدلة والعقود والتذاكر أو كتالوج المنتجات — ويمرّر المقاطع الأكثر صلة إلى النموذج مع السؤال. ثم يجيب النموذج استناداً إلى تلك المقاطع.
ثلاث أفكار مهمة هنا:
- الاسترجاع (Retrieval): العثور على المقاطع الصحيحة. وهو عادةً مزيج من البحث الدلالي عبر embeddings والبحث التقليدي بالكلمات المفتاحية، وغالباً ما تتبعه خطوة إعادة ترتيب (re-ranking).
- التأسيس (Grounding): توجيه النموذج للإجابة من المادة المقدَّمة، والإفصاح عن ذلك عندما لا تحتوي المادة على الإجابة.
- الاستشهادات (Citations): الإشارة إلى المستند أو الصفحة أو المقطع الدقيق الذي جاءت منه الإجابة، حتى يتمكن إنسان من التحقق منها.
يتألق RAG عندما تتغير المعرفة كثيراً، وعندما يكون حجم المجموعة النصية كبيراً، وعندما يحتاج الناس إلى التحقق من الإجابات.
الضبط الدقيق (Fine-tuning)#
يواصل fine-tuning تدريب نموذج على أمثلتك الخاصة، بحيث يتغير سلوكه. وهو بارع في تعليم كيفية الرد: نبرة متسقة، أو تنسيق إخراج صارم، أو مخطط تصنيف خاص بالمجال، أو مهمة ضيقة تُنفَّذ آلاف المرات يومياً. لكنه وسيلة رديئة لتعليم ما هو صحيح الآن. فالحقائق المكتسبة عبر fine-tuning يصعب تحديثها، ويصعب إرجاعها إلى مصدرها، وقد تُخلَط أو يُساء تذكّرها.
يتيح لك fine-tuning أيضاً نقل مهمة ضيقة إلى نموذج أصغر وأرخص وأسرع، وهو ما قد يكون مهماً جداً عند الأحجام الكبيرة.
توجيه السياق الطويل مع التخزين المؤقت للموجّهات#
تقبل النماذج الحديثة من Anthropic وOpenAI وعدة عائلات مفتوحة المصدر مدخلات طويلة جداً. إذا كانت قاعدة معارفك متواضعة الحجم — مثل دليل منتج، أو مجموعة سياسات، أو مجموعة أسئلة شائعة — يمكنك غالباً وضعها كلها مباشرةً في الموجّه (prompt). دون فهرس، ودون خط أنابيب استرجاع، ودون قرارات تقسيم.
الاعتراض الواضح هو التكلفة وزمن الاستجابة: إرسال المستند الكبير نفسه مع كل طلب أمر مسرف. التخزين المؤقت للموجّهات (Prompt caching) يعالج ذلك. يمكن للمزودين تخزين بادئة ثابتة من الموجّه مؤقتاً، بحيث تعيد الطلبات المتكررة استخدام المحتوى المعالَج مسبقاً وتُحتسَب تكلفتها وتُقدَّم بكفاءة أعلى. وبالنسبة لجسم معرفي ثابت ومحدود، يكون السياق الطويل مع التخزين المؤقت غالباً أبسط حل يعمل.
المخرجات المنظّمة (Structured outputs)#
كثير من مشاريع «الذكاء الاصطناعي» هي في الحقيقة مشاريع استخراج: اقرأ فاتورة أو سيرة ذاتية أو عقداً أو بريداً إلكترونياً، وأنتج حقولاً نظيفة. هنا القدرة الأساسية هي المخرجات المنظّمة، حيث يُقيَّد النموذج لإرجاع بيانات تطابق مخططاً تحدده أنت، مثل JSON بحقول وأنواع محددة. وهذا لا علاقة له بالمعرفة أصلاً؛ بل بموثوقية التنسيق، وهو عادةً ما يلغي الحاجة إلى fine-tuning في مهام الاستخراج.
متى يناسب كل نهج#
طريقة مفيدة للتفكير في الأمر: افصل المعرفة عن السلوك.
- معرفة جديدة أو متغيرة، وإجابات يجب أن يتحقق منها الناس: استخدم RAG، أو السياق الطويل إذا كانت المادة صغيرة بما يكفي. كلاهما يتيح تحديث المعرفة بتحديث المستندات، وكلاهما يدعم الاستشهادات.
- معرفة ثابتة ومحدودة تتسع في نافذة السياق: ابدأ بالسياق الطويل والتخزين المؤقت للموجّهات. وانتقل إلى RAG عندما يتجاوز حجم المادة ذلك أو عندما تحتاج إلى تحكم دقيق في الوصول لكل مستند.
- أسلوب أو نبرة أو تنسيق متسق عبر مخرجات كثيرة: جرّب أولاً تعليمات واضحة وبضعة أمثلة جيدة في الموجّه. وإن لم يكن ذلك كافياً عند حجمك، فإن fine-tuning خيار مشروع.
- تصنيف أو توجيه ضيق على نطاق واسع: إجراء fine-tuning لنموذج أصغر، أو ببساطة استخدام نموذج عام أصغر مع موجّه مصمم جيداً، هو غالباً المسار الأكثر اقتصاداً.
- استخراج حقول من مستندات: مخرجات منظّمة، يمكن اختيارياً دمجها مع مدخلات المستندات والاستشهادات بحيث يمكن تتبع كل قيمة مستخرجة.
هذه الخيارات ليست متنافرة. فقد يستخدم نظام ناضج RAG للمعرفة، ومخرجات منظّمة لتنسيق الاستجابة، ونموذجاً صغيراً مضبوطاً لتوجيه الطلبات الواردة.
مقارنة جنباً إلى جنب#
| المعيار | RAG | سياق طويل + تخزين مؤقت | Fine-tuning | مخرجات منظّمة |
|---|---|---|---|---|
| حداثة المعرفة | عالية: حدّث الفهرس | عالية: حدّث المستندات | منخفضة: تحتاج إعادة تدريب | ليست تقنية معرفة |
| تكلفة التحديث | منخفضة: أعد فهرسة المستندات المتغيرة | منخفضة جداً: عدّل المصدر | عالية: مجموعة بيانات وجولة تدريب جديدة | منخفضة جداً: عدّل المخطط |
| قابلية التتبع والاستشهادات | قوية إذا بُنيت في النظام | قوية مع استشهادات المستندات | ضعيفة: لا مصدر للإشارة إليه | جيدة عند دمجها مع الاستشهادات |
| متطلبات البيانات | مستنداتك الحالية | مستنداتك الحالية | أمثلة كثيرة منتقاة عالية الجودة | مخطط وعينات مستندات |
| الوقت حتى الإصدار الأول | أيام إلى أسابيع | ساعات إلى أيام | أسابيع، بما فيها إعداد البيانات | ساعات إلى أيام |
| المخاطر الرئيسية | استرجاع رديء، فهرس قديم، حقن موجّهات عبر المستندات | حدود السياق، والتكلفة إذا لم يُستخدم التخزين المؤقت | حقائق قديمة، فرط التخصيص (overfitting)، انحياز خفي في بيانات التدريب | مخطط صارم أكثر من اللازم أو مرن أكثر من اللازم |
قائمة تحقق عملية لاتخاذ القرار#
قبل اختيار معمارية، أجب عن هذه الأسئلة بصدق:
- ما هي المهمة بالضبط؟ الإجابة عن أسئلة، أم صياغة نصوص، أم تصنيف، أم استخراج؟ اكتب خمسة أمثلة حقيقية للمدخلات والمخرجات المثالية.
- كم مرة تتغير المعرفة الأساسية؟ التغييرات اليومية أو الأسبوعية تشير بقوة إلى الابتعاد عن fine-tuning.
- هل يحتاج المستخدمون إلى التحقق من الإجابات؟ في سياقات القانون والمالية والامتثال والدعم والرعاية الصحية، تكون الاستشهادات عادةً غير قابلة للتفاوض.
- ما حجم قاعدة المعرفة؟ إذا كانت تتسع بارتياح في نافذة السياق، جرّب السياق الطويل مع التخزين المؤقت أولاً.
- من يحق له رؤية ماذا؟ إذا كان للمستخدمين المختلفين حق وصول إلى مستندات مختلفة، فأنت بحاجة إلى استرجاع مع تصفية بالصلاحيات، لا إلى موجّه مشترك واحد أو نموذج مدرَّب على كل شيء.
- ما الحجم وزمن الاستجابة المتوقعان؟ الحجم الكبير على مهمة ضيقة هو حيث تثبت النماذج الأصغر أو المضبوطة قيمتها.
- هل لديك أمثلة موسومة؟ نادراً ما يتفوق fine-tuning دون مجموعة كبيرة من الأمثلة الجيدة على موجّه مكتوب بعناية.
- كيف ستقيس النجاح؟ إذا لم تستطع الإجابة عن هذا، فتوقف وابنِ مجموعة تقييم أولاً.
إذا كانت معظم الإجابات تشير إلى «معرفة متغيرة، تحتاج استشهادات، حجم معتدل»، فأنت تريد RAG أو السياق الطويل. وإذا كانت تشير إلى «مهمة ثابتة، تنسيق صارم، حجم كبير جداً»، ففكّر في fine-tuning أو نموذج أصغر.
المزالق الشائعة#
هذه هي المشكلات التي نراها كثيراً عند مراجعة أنظمة ذكاء اصطناعي «تكاد تعمل».
- تقسيم رديء للمستندات (Chunking). تقسيم المستندات إلى قطع عشوائية ثابتة الحجم يشطر الجداول إلى نصفين، ويفصل العناوين عن محتواها، ويفقد السياق. قسّم على امتداد بنية المستند واحتفظ ببيانات وصفية مفيدة مثل العنوان والقسم والتاريخ.
- غياب التقييمات. دون مجموعة اختبار، كل تغيير هو تخمين. تُعدِّل الفرق الموجّهات وتبدّل النماذج وتغيّر أحجام القطع دون أن تعرف هل تحسّن الأمر أم ساء.
- فهارس قديمة. تحدّثت المستندات المصدرية، والفهرس لم يتحدّث. فيقتبس المساعد بثقة سياسة العام الماضي. يجب أن تكون إعادة الفهرسة جزءاً من سير عمل المحتوى، لا فكرة لاحقة يدوية.
- هلوسة دون استشهادات. إذا لم يُظهر النظام من أين جاءت الإجابة، فلن يستطيع المستخدمون التمييز بين إجابة مؤسَّسة وأخرى مختلقة. اشترط الاستشهادات وعلّم النموذج أن يقول «لا أعرف» عندما تصمت المصادر.
- الخصوصية وGDPR. البيانات الشخصية في المستندات والموجّهات والسجلات تبقى بيانات شخصية. اعرف أي مزود يعالجها، وفي أي منطقة، وبموجب أي اتفاقية معالجة بيانات، وكم من الوقت تُحفَظ السجلات. ويستحق fine-tuning على بيانات شخصية حذراً إضافياً، لأن إزالتها لاحقاً أمر صعب.
- حقن الموجّهات من المستندات. المحتوى المسترجَع هو مدخل غير موثوق. قد يحتوي مستند على نص يحاول توجيه النموذج، مثلاً لتجاهل قواعده أو كشف بيانات أخرى. عامل النص المسترجَع كبيانات، وحدّد ما يمكن للنموذج فعله بالأدوات، ولا تجعل محتوى المستند يمنح صلاحيات أبداً.
قيّم قبل أن تحسّن#
الخطوة الأكثر قيمة في أي مشروع ذكاء اصطناعي هي أيضاً الأقل بريقاً: ابنِ مجموعة تقييم قبل اختيار المعمارية.
المجموعة الأولية الجيدة هي ببساطة بضع عشرات إلى بضع مئات من الأسئلة أو المدخلات الحقيقية، لكل منها الإجابة المتوقعة أو المستندات التي يجب الاستشهاد بها. ثم قِس:
- جودة الاسترجاع: هل وجد النظام المقاطع الصحيحة؟
- جودة الإجابة: هل الإجابة صحيحة وكاملة ومؤسَّسة على المصادر؟
- دقة الاستشهادات: هل تدعم المقاطع المُستشهَد بها الادعاء فعلاً؟
- سلوك الرفض: هل يقول «لا أعرف» عندما يجب ذلك؟
- الامتثال للتنسيق: في الاستخراج، هل يطابق كل إخراج المخطط؟
مع وجود هذا، تصبح المقارنات واقعية. يمكنك اختبار السياق الطويل مقابل RAG، أو نموذجاً مقابل آخر، أو نموذجاً مضبوطاً مقابل نموذج موجَّه، على بياناتك أنت لا على معايير عامة. وستجد غالباً أن أرخص إصلاح هو استرجاع أفضل أو موجّه أوضح، لا نموذج أكبر أو جولة تدريب.
يمكن للتصحيح الآلي بنموذج تسريع ذلك، لكن تحقق منه عينةً بمراجعين بشريين، خاصة في البداية.
كيف توضّح عروضنا التوضيحية هذه الأنماط#
نحاول أن نطبّق ما نوصي به، ويظهر عرضان توضيحيان على هذا الموقع الأنماط عملياً.
يجيب مساعد sigmacode عن أسئلة حول خدماتنا ونهجنا. قاعدته المعرفية صغيرة ومجمَّدة عمداً، لذا يستخدم بدلاً من خط أنابيب استرجاع توجيهَ سياقٍ طويل مع تخزين مؤقت للموجّهات: تجلس قاعدة المعرفة كلها في بادئة موجّه مخزَّنة مؤقتاً، ويُوجَّه النموذج للإجابة منها فقط. وبالنسبة لجسم معرفي محدود، فهذا أبسط في البناء وأسهل في الإبقاء على صحته من فهرس متجهي.
يعرض عرض الأسئلة والأجوبة على المستندات الجانب الآخر. تقدّم مستنداً وتطرح أسئلة، وتأتي كل إجابة مع استشهادات تشير إلى المقاطع التي اعتمدت عليها. هذا هو الوعد الأساسي للذكاء الاصطناعي المؤسَّس: يمكن التحقق من كل ادعاء مقابل مصدره.
لم يتطلب أيٌّ من العرضين fine-tuning. وهذا هو النمط المعتاد. ففي معظم مشكلات معرفة الأعمال، يهمّ التأسيس والتقييم الجيد أكثر من التدريب المخصص.
الخلاصة#
- استخدم RAG عندما تكون المعرفة كبيرة، أو تتغير كثيراً، أو تحتاج تحكماً في الوصول، أو يجب الاستشهاد بها.
- استخدم السياق الطويل مع التخزين المؤقت للموجّهات عندما تكون المعرفة ثابتة وتتسع في النافذة.
- استخدم fine-tuning أو نماذج أصغر للسلوك المتسق أو المهام الضيقة على أحجام كبيرة، لا للحقائق.
- استخدم المخرجات المنظّمة للاستخراج ولأي مخرجات يحتاج نظامٌ لتحليلها.
- قيّم أولاً، ثم حسّن ما تخبرك به الأرقام.
إذا كنت توازن بين هذه الخيارات لمشروع حقيقي، يمكن لفريق الذكاء الاصطناعي والأتمتة لدينا، بقيادة قائد تقني بخبرة تتجاوز 20 عاماً، مساعدتك في تحديد النطاق وبناء مجموعة تقييم وشحن إصدار أول يمكنك قياسه فعلاً. تواصل معنا وأخبرنا بما تحاول حلّه.