مواد پر جائیں

تحریریں

RAG یا AI assistant پروجیکٹ کی scoping: ایک چیک لسٹ

RAG system یا AI assistant بنانے سے پہلے طے کرنے والے 30 سوالات: use case، data، access control، retrieval، model کا انتخاب، evaluation، operations اور go/no-go۔

sigmacode.io انجینئرنگ ٹیم8 منٹ کی قراءت

اس صفحے پر (9)
  1. 1. Use case اور کامیابی کے معیارات
  2. 2. Data sources
  3. 3. Access control اور privacy
  4. 4. Retrieval کا design
  5. 5. Model اور provider کا انتخاب
  6. 6. Evaluation
  7. 7. Integration اور operations
  8. 8. Go/no-go معیارات
  9. ہم کیسے مدد کر سکتے ہیں

زیادہ تر مایوس کن AI assistant پروجیکٹس model کی وجہ سے ناکام نہیں ہوتے۔ وہ اس لیے ناکام ہوتے ہیں کہ کسی نے اس پر اتفاق نہیں کیا کہ assistant کس کام کے لیے ہے، بنیادی content ادھورا یا پرانا تھا، permissions بعد کی سوچ تھیں، یا یہ بتانے کا کوئی طریقہ نہیں تھا کہ کسی تبدیلی سے چیزیں بہتر ہوئیں یا بدتر۔ model کا انتخاب اہم ہے، لیکن یہ عموماً آسان فیصلوں میں سے ہے۔

یہ چیک لسٹ وہ سوالات جمع کرتی ہے جن پر ہم کمپنی کے data پر retrieval-augmented generation (RAG) system یا AI assistant بنانے سے پہلے کام کرتے ہیں۔ اسے internal پروجیکٹ تیار کرنے، کسی vendor کو brief کرنے، یا یہ چیک کرنے کے لیے استعمال کریں کہ آپ کو ملا ہوا proposal بنیادی چیزیں cover کرتا ہے یا نہیں۔ پہلے دن سے ہر جواب ہونا ضروری نہیں، لیکن آپ کو معلوم ہونا چاہیے کہ کون سے ابھی کھلے ہیں۔

1. Use case اور کامیابی کے معیارات#

اس سے پہلے کہ کوئی notebook کھولے یا models کا موازنہ کرے، یہ لکھ لیں۔

  • ایک بنیادی کام. اس واحد کام کا نام لیں جو assistant کو پہلے اچھی طرح کرنا چاہیے، مثلاً support agents کے product سوالوں کے جواب دینا یا supplier contracts میں clauses تلاش کرنا۔ پہلا کام measure ہو جانے کے بعد مزید use cases آ سکتے ہیں؛ شروع میں کئی کو ملا دینا requirements اور evaluation دونوں کو دھندلا دیتا ہے۔
  • users اور ان کی صورتحال. بیان کریں کہ کون پوچھتا ہے، کتنی بار، کس زبان میں اور کس device پر، اور وہ جواب سے کیا کرتے ہیں۔ ایک internal expert جو sources چیک کرتا ہے اسے کچھ اور چاہیے، ایک customer کے مقابلے میں جو جواب پر سیدھا عمل کرتا ہے۔
  • ideal جوابات کے ساتھ حقیقی سوالات. tickets، emails یا chat logs سے 20–50 حقیقی سوالات جمع کریں، اور کسی domain expert سے ideal جواب لکھوائیں اور اس source کا نام بتائیں جہاں سے وہ آنا چاہیے۔ یہ set بتاتا ہے کہ "اچھا" کا مطلب کیا ہے اور آپ کے evaluation set کا seed بن جاتا ہے۔
  • Out of scope اور refusals. فہرست کریں کہ assistant کو کیا نہیں کرنا چاہیے: legal، medical یا financial مشورہ دینا، اپنے sources سے باہر جواب دینا، کمپنی کی طرف سے commitments کرنا۔ طے کریں کہ اس کے بجائے اسے کیا کہنا چاہیے اور user کو کہاں بھیجنا چاہیے۔
  • موجودہ process کی baseline. ریکارڈ کریں کہ آج یہ کام کیسے ہوتا ہے، کتنا وقت لگتا ہے، کون کرتا ہے اور کیا لاگت ہے۔ baseline کے بغیر "assistant مدد کرتا ہے" ایک نتیجے کے بجائے رائے ہے۔

2. Data sources#

جوابات کا معیار اس content کے معیار اور رسائی سے زیادہ نہیں ہو سکتا جو ان کے پیچھے ہے۔

  • Source inventory. ہر اس source کی فہرست کریں جسے assistant استعمال کرے: wikis، SharePoint یا Google Drive folders، ticket systems، databases، PDFs، websites۔ ہر ایک کے لیے نوٹ کریں کہ اس تک کیسے رسائی ہو سکتی ہے (API، export، crawl) اور کیا وہ رسائی اجازت شدہ ہے۔
  • Formats اور document کا معیار. ایسے scanned PDFs چیک کریں جن کو OCR چاہیے، پیچیدہ tables، forms، slides اور ایسی images جو ضروری content رکھتی ہیں۔ tables اور scans وہ جگہ ہیں جہاں سادہ pipelines سب سے زیادہ معلومات کھوتی ہیں، اس لیے انہیں جلد sample کریں۔
  • ملکیت اور تازگی. ہر source کا owner نامزد کریں اور ریکارڈ کریں کہ وہ کتنی بار بدلتا ہے۔ اگر content کا کوئی مالک نہیں تو اس سے آنے والے غلط جوابات کوئی بھی نہیں سدھارے گا۔
  • Duplicates، versions اور زبانیں. پرانی copies، drafts اور ایک ہی policy کے متوازی versions کی شناخت کریں، اور طے کریں کہ کون سا authoritative ہے۔ documents اور سوالات دونوں کی زبانیں نوٹ کریں، کیونکہ cross-language retrieval کو explicitly test کرنا ہوتا ہے۔

3. Access control اور privacy#

اس سے پہلے کہ کوئی حقیقی data آپ کے systems سے باہر جائے، یہ طے کریں۔

  • retrieval میں منتقل شدہ permissions. اگر users صرف کچھ documents دیکھ سکتے ہیں تو retrieval کو request کرنے والے user کی permissions سے filter کرنا ہوگا، source systems سے sync شدہ۔ prompt میں ہدایات یا model پر content روکنے کا بھروسہ access control نہیں ہے۔
  • Personal data اور قانونی بنیاد. documents، سوالات اور logs میں personal data کی شناخت کریں اور اسے process کرنے کی GDPR قانونی بنیاد اور مقصد document کریں۔ اپنے data protection officer کو launch پر نہیں بلکہ شروع میں شامل کریں۔
  • Provider کا معاہدہ اور data residency. ہر model اور infrastructure provider کے ساتھ data processing agreement نافذ کریں، ان کے sub-processors کا جائزہ لیں، اور تصدیق کریں کہ اگر آپ چاہتے ہیں تو processing EU region میں رہ سکتی ہے۔ تحریری تصدیق حاصل کریں کہ آپ کا data provider کے models کی training کے لیے استعمال نہیں ہوتا۔
  • Retention، logging اور redaction. طے کریں کہ prompts، retrieved passages اور جوابات کتنی دیر store ہوں گے، کون انہیں پڑھ سکتا ہے اور کیا logging سے پہلے personal data کو redact کیا جائے۔ debugging اور evaluation کے لیے logs درکار ہیں، اس لیے مقصد controlled retention ہے، zero logging نہیں۔

4. Retrieval کا design#

RAG systems میں زیادہ تر غلط جوابات model کے بجائے retrieval تک واپس جاتے ہیں؛ چھوٹے، مستحکم corpus کے لیے prompt caching کے ساتھ long context retrieval کو مکمل طور پر بدل سکتا ہے (دیکھیں RAG بمقابلہ fine-tuning)۔

  • document structure کے مطابق chunking. content کو fixed character counts کے بجائے headings، sections، list items اور table boundaries کے حساب سے تقسیم کریں۔ ہر chunk کے ساتھ heading path رکھیں تاکہ passage اکیلے بھی معنی دے۔
  • Metadata اور filters. ہر chunk کے ساتھ title، source، section، date، language، version اور access groups store کریں۔ metadata ہی وہ چیز ہے جو permission filtering، "صرف latest version" کے rules اور مفید citations کو ممکن بناتی ہے۔
  • Hybrid search اور reranking. product codes، article numbers اور ناموں جیسی exact terms کے لیے keyword search کو معنی کے لیے embeddings پر vector search کے ساتھ ملائیں، پھر ملے ہوئے candidates کو rerank کریں۔ ہر مرحلے کو اپنے example سوالات کے خلاف test کریں، یہ فرض کرنے کے بجائے کہ defaults کافی ہیں۔
  • Citations لازم ہیں. assistant سے یہ تقاضا کریں کہ وہ استعمال کیے گئے passages کا حوالہ دے، source document اور section کے link کے ساتھ۔ citations users کو جوابات verify کرنے دیتی ہیں اور reviewers کو یہ دیکھنے دیتی ہیں کہ غلط جواب خراب retrieval سے آیا یا خراب generation سے۔

5. Model اور provider کا انتخاب#

model اس وقت منتخب کریں جب آپ کے پاس evaluation set موجود ہو، تاکہ فیصلہ generic benchmarks کے بجائے آپ کے data پر قائم ہو۔

  • Hosting option. ایک hosted API، EU cloud region میں وہی یا اسی جیسے models، اور اپنی infrastructure پر self-hosted open-weight model کا موازنہ کریں۔ ہر option جواب کے معیار، data کنٹرول، operational محنت اور لاگت کے درمیان توازن بدل دیتا ہے۔
  • فی query latency اور لاگت. اپنے example سوالات پر end-to-end response time اور فی جواب شدہ سوال لاگت ناپیں، retrieval، reranking اور input و output tokens سمیت۔ prompt caching اور سادہ مراحل کے لیے چھوٹے models ان اعداد کو نمایاں طور پر بدل سکتے ہیں۔
  • Fallback اور lock-in. اس کی منصوبہ بندی کریں کہ provider down ہو یا model retire کر دے تو کیا ہو: دوسرا provider، degraded mode یا واضح error message۔ prompts، evaluation set اور retrieval layer کو provider-neutral رکھیں، تاکہ switch کرنا rewrite کے بجائے configuration change اور ایک eval run ہو۔

6. Evaluation#

اگر آپ معیار measure نہیں کر سکتے تو نہ اسے بہتر بنا سکتے ہیں نہ go-live فیصلے کا دفاع کر سکتے ہیں۔

  • build سے پہلے eval set. سیکشن 1 کے حقیقی سوالات کو expected جوابات اور expected sources کے ساتھ versioned evaluation set میں بدلیں، اور اسے مشکل اور edge cases سے بڑھائیں۔ اسے پہلے prototype سے پہلے بنائیں، پہلی demo کے بعد نہیں۔
  • Retrieval اور جواب کا معیار. الگ الگ ناپیں کہ درست passages retrieve ہوئے اور جواب ان passages کے لیے درست، مکمل اور وفادار ہے۔ citation کی درستگی چیک کریں: cite شدہ passage کو واقعی بیان کی تائید کرنی چاہیے۔
  • Refusal اور prompt-injection tests. وہ سوالات شامل کریں جن کا assistant کو انکار کرنا چاہیے اور وہ سوالات جن کا اس کے sources جواب نہیں دے سکتے، اور verify کریں کہ وہ اندازہ لگانے کے بجائے ایسا کہہ دیتا ہے۔ ایسے documents اور inputs شامل کریں جو اس کی ہدایات override کرنے یا دوسرے users کا data نکالنے کی کوشش کریں، اور تصدیق کریں کہ وہ ناکام ہوتے ہیں۔
  • Regression runs اور human review. prompts، models، chunking یا data میں ہر تبدیلی پر مکمل eval set چلائیں اور نتائج کا موازنہ پچھلے run سے کریں۔ model سے automated grading اسے تیز کرتی ہے، لیکن کوئی domain expert باقاعدگی سے نتائج کا spot-check کرے۔

7. Integration اور operations#

assistant کو کہیں رہنا ہے، اور launch کے بعد کسی کو اسے چلانا ہے۔

  • Channel اور sign-in. طے کریں کہ assistant کہاں رہے گا: website widget، Slack یا Microsoft Teams، کوئی internal tool یا موجودہ ticket system۔ اپنا موجودہ SSO استعمال کریں تاکہ identity اور permissions ہر جگہ اسی جگہ سے آئیں۔
  • Human handoff اور feedback. تعریف کریں کہ جب assistant مدد نہ کر سکے تو user کسی انسان تک کیسے پہنچے، گفتگو ساتھ منتقل ہو۔ سادہ feedback buttons لگائیں اور منفی feedback کو evaluation set میں route کریں۔
  • Cost model اور monitoring. متوقع اور peak usage پر فی query اور فی ماہ لاگت کا اندازہ لگائیں اور budget alerts لگائیں۔ latency، error rates، refusal rates اور user feedback کی نگرانی کریں، logs کو سیکشن 3 کے مطابق redact کیے ہوئے۔
  • Re-indexing، content کی ملکیت اور incidents. source documents بدلنے پر re-indexing کو automate کریں، deletions سمیت، تاکہ assistant کبھی واپس لیے گئے content کا حوالہ نہ دے۔ نامزد کریں کہ content کے مسائل کون ٹھیک کرتا ہے اور غلط، نقصان دہ یا leaked جوابات کے لیے incident process define کریں، بشمول یہ کہ assistant کو جلدی کیسے بند کیا جائے۔

8. Go/no-go معیارات#

نتائج آنے سے پہلے فیصلہ کے rules پر اتفاق کریں، تاکہ فیصلہ کسی اچھی demo کی طاقت پر نہ ہو۔

  • پہلے سے متفقہ thresholds. eval set پر جواب کی درستگی اور citation کی درستگی کی کم از کم سطحیں، قابلِ قبول latency اور فی query لاگت لکھیں، اور permission boundaries عبور کرنے والے جوابات کے لیے zero tolerance۔ نتائج کا موازنہ سیکشن 1 کی baseline سے کریں۔
  • واضح exit کے ساتھ time-boxed pilot. حقیقی users کے ایک چھوٹے گروہ کے ساتھ مقررہ مدت کے لیے pilot چلائیں، ایک نامزد شخص کے ساتھ جو فیصلہ کرے۔ scope کو تنگ کرنا یا روک دینا ایک جائز نتیجہ ہے، اور مکمل rollout کے بعد معلوم ہونے سے کہیں سستا ہے۔

ہم کیسے مدد کر سکتے ہیں#

اگر آپ یہ چیک لسٹ ہمارے ساتھ طے کرنا چاہتے ہیں تو سب سے سیدھا راستہ ہمارا fixed-scope AI Proof-of-Value Sprint ہے۔ دو ہفتوں میں ہم آپ کے ساتھ use case کا scope کرتے ہیں، آپ کے اپنے data پر RAG یا agent prototype بناتے ہیں، evaluation set تیار کرتے ہیں، cost model بناتے ہیں اور ایک go/no-go report دیتے ہیں جسے آپ اپنے فیصلہ سازوں کے پاس لے جا سکتے ہیں۔ تفصیلات ہمارے pricing page اور ہماری AI & Automation services پر موجود ہیں۔

اس سے پہلے کہ آپ کے کوئی documents کسی model تک پہنچیں، ہم آپ سے طے کرتے ہیں کہ data کیسے handle ہوگا؛ آپ پہلے سے ہم AI پروجیکٹس میں client data کیسے handle کرتے ہیں پڑھ سکتے ہیں۔ اگر آپ گفتگو سے شروع کرنا چاہتے ہیں تو مفت estimate کی درخواست کریں اور وہ use case بیان کریں جو آپ کے ذہن میں ہے۔

کوئی پروجیکٹ ذہن میں ہے؟

ہمیں بتائیں کہ آپ کیا بنا رہے ہیں۔ کام کے دنوں میں ایک سینئر انجینئر ایک گھنٹے کے اندر جواب دیتا ہے — پھر آپ کو دیانتدارانہ جائزہ، واضح دائرۂ کار اور مقررہ قیمت یا سنگ میل پر مبنی تجویز ملتی ہے، عام طور پر چند کام کے دنوں میں۔

پہلے لکھنا پسند کریں گے؟ ہمیں لکھیں

آپ براہِ راست Ing. Ismet Mesic، ٹیک لیڈ سے بات کریں گے۔