تحلیلها
تعیین اسکوپ پروژه RAG یا دستیار هوش مصنوعی: یک چکلیست
۳۰ سؤالی که باید پیش از ساخت یک سیستم RAG یا دستیار هوش مصنوعی روشن شوند: مورد استفاده، دادهها، کنترل دسترسی، بازیابی، انتخاب مدل، ارزیابی، عملیات و تصمیم go/no-go.
تیم مهندسی sigmacode.io8 دقیقه مطالعه
در این صفحه (9)
بیشتر پروژههای دستیار هوش مصنوعی که ناامید میکنند، به خاطر مدل شکست نمیخورند. شکست میخورند چون هیچکس روی اینکه دستیار برای چه است توافق نکرده، محتوای زیربنایی ناقص یا قدیمی بوده، مجوزها بهعنوان فکری پسازدستافتاده بودهاند، یا راهی برای فهمیدن اینکه یک تغییر وضع را بهتر یا بدتر کرده وجود نداشته. انتخاب مدل مهم است، اما معمولاً یکی از تصمیمهای آسانتر است.
این چکلیست سؤالاتی را جمع میکند که پیش از ساخت یک سیستم تولید تقویتشده با بازیابی (RAG) یا یک دستیار هوش مصنوعی روی دادههای شرکت روی آنها کار میکنیم. از آن برای آمادهسازی یک پروژه داخلی، بریف کردن یک vendor یا بررسی اینکه پیشنهادی که دریافت کردهاید ضروریات را پوشش میدهد استفاده کنید. نیاز نیست همه پاسخها را روز اول داشته باشید، اما باید بدانید کدامها هنوز بازند.
۱. مورد استفاده و معیارهای موفقیت#
اینها را پیش از اینکه کسی نوتبوکی باز کند یا مدلها را مقایسه کند بنویسید.
- یک کار اصلی. آن یک وظیفهای را نام ببرید که دستیار ابتدا باید خوب انجام دهد، مثلاً پاسخ به سؤالات محصولی کارشناسان پشتیبانی یا یافتن بندها در قراردادهای تأمینکننده. موارد استفاده بیشتر میتوانند پس از سنجیده شدن اولی بیایند؛ مخلوط کردن چند مورد در ابتدا هم الزامات و هم ارزیابی را مبهم میکند.
- کاربران و موقعیتشان. توصیف کنید چه کسی میپرسد، هر چند وقت، به کدام زبان و روی کدام دستگاه، و با پاسخ چه میکند. یک کارشناس داخلی که منابع را چک میکند به چیز متفاوتی از مشتریای که مستقیم با پاسخ عمل میکند نیاز دارد.
- سؤالات واقعی با پاسخهای ایدهآل. ۲۰ تا ۵۰ سؤال واقعی از تیکتها، ایمیلها یا لاگهای چت جمع کنید و یک کارشناس دامنه پاسخ ایدهآل را بنویسد و منبعی که باید از آن بیاید را نام ببرد. این مجموعه معنای «خوب» را تعریف میکند و بذر مجموعه ارزیابی شما میشود.
- خارج از اسکوپ و امتناعها. فهرست کنید دستیار نباید چه کار کند: مشاوره حقوقی، پزشکی یا مالی دادن، پاسخ فراتر از منابعش، تعهد کردن بهنیابت از شرکت. تصمیم بگیرید بهجای آن چه بگوید و کاربر را کجا ارجاع دهد.
- خط پایه فرایند فعلی. ثبت کنید این کار امروز چگونه انجام میشود، چقدر طول میکشد، چه کسی انجامش میدهد و چه هزینهای دارد. بدون خط پایه، «دستیار کمک میکند» یک نظر است نه یک نتیجه.
۲. منابع داده#
کیفیت پاسخها سقفش را کیفیت و دسترسپذیری محتوای پشتشان تعیین میکند.
- فهرست منابع. هر منبعی که دستیار باید استفاده کند را فهرست کنید: ویکیها، پوشههای SharePoint یا Google Drive، سیستمهای تیکت، دیتابیسها، PDFها، وبسایتها. برای هر کدام یادداشت کنید چگونه میتوان به آن دسترسی داشت (API، خروجی، کراول) و آیا آن دسترسی مجاز است.
- قالبها و کیفیت اسناد. PDFهای اسکنشده نیازمند OCR، جدولهای پیچیده، فرمها، اسلایدها و تصاویری که محتوای ضروری حمل میکنند را بررسی کنید. جدولها و اسکنها جایی هستند که پایپلاینهای ساده بیشترین اطلاعات را از دست میدهند، پس آنها را زود نمونهبرداری کنید.
- مالکیت و تازگی. برای هر منبع یک مالک نام ببرید و ثبت کنید هر چند وقت تغییر میکند. اگر هیچکس مالک محتوا نیست، هیچکس پاسخهای غلط ناشی از آن را درست نمیکند.
- تکراریها، نسخهها و زبانها. کپیهای قدیمی، پیشنویسها و نسخههای موازی یک سیاست را شناسایی کنید و تصمیم بگیرید کدام معتبر است. زبان اسناد و سؤالات را یادداشت کنید، چون بازیابی میانزبانی باید صراحتاً تست شود.
۳. کنترل دسترسی و حریم خصوصی#
اینها را پیش از اینکه هر داده واقعی از سیستمهای شما خارج شود حل کنید.
- مجوزهای منتقلشده به بازیابی. اگر کاربران فقط ممکن است اسناد خاصی را ببینند، بازیابی باید بر اساس مجوزهای کاربر درخواستکننده فیلتر کند، همگامشده از سیستمهای منبع. دستورالعمل در پرامپت یا اعتماد به مدل برای پنهان کردن محتوا، کنترل دسترسی نیست.
- داده شخصی و مبنای حقوقی. داده شخصی در اسناد، سؤالات و لاگها را شناسایی کنید و مبنای حقوقی GDPR و هدف پردازش آن را مستند کنید. مسئول حفاظت داده خود را از ابتدا درگیر کنید، نه در زمان عرضه.
- قرارداد ارائهدهنده و محل اقامت داده. با هر ارائهدهنده مدل و زیرساخت یک قرارداد پردازش داده داشته باشید، پردازشگران فرعیشان را بازبینی کنید و اگر نیاز دارید تأیید کنید پردازش میتواند در یک منطقه EU بماند. تأیید کتبی بگیرید که داده شما برای آموزش مدلهای ارائهدهنده استفاده نمیشود.
- نگهداری، لاگگیری و تحریف. تصمیم بگیرید پرامپتها، قطعات بازیابیشده و پاسخها چهمدت ذخیره میشوند، چه کسی میتواند آنها را بخواند و آیا داده شخصی پیش از لاگ تحریف میشود. لاگها برای دیباگ و ارزیابی لازماند، پس هدف نگهداری کنترلشده است، نه صفر لاگ.
۴. طراحی بازیابی#
بیشتر پاسخهای غلط در سیستمهای RAG به بازیابی برمیگردند نه به مدل؛ برای یک پیکره کوچک و پایدار، کانتکست طولانی با کش پرامپت ممکن است جای بازیابی را کاملاً بگیرد (به RAG در برابر فاینتیونینگ مراجعه کنید).
- چانکینگ در امتداد ساختار سند. محتوا را بر اساس سرفصلها، بخشها، آیتمهای فهرست و مرزهای جدول تقسیم کنید، نه تعداد کاراکتر ثابت. مسیر سرفصل را با هر چانک نگه دارید تا یک قطعه بهتنهایی معنا داشته باشد.
- متادیتا و فیلترها. عنوان، منبع، بخش، تاریخ، زبان، نسخه و گروههای دسترسی را با هر چانک ذخیره کنید. متادیتا همان چیزی است که فیلتر مجوزها، قواعد «فقط آخرین نسخه» و استنادهای مفید را ممکن میکند.
- جستوجوی هیبریدی و ریرنکینگ. جستوجوی کلیدواژهای برای اصطلاحات دقیق مانند کدهای محصول، شماره مقالات و نامها را با جستوجوی برداری روی embeddingها برای معنا ترکیب کنید، سپس نامزدهای ترکیبشده را ریرنک کنید. هر مرحله را در برابر سؤالات نمونه خود تست کنید بهجای اینکه فرض کنید پیشفرضها کافیاند.
- استناد الزامی. از دستیار بخواهید قطعاتی را که استفاده کرده استناد کند، با لینک به سند و بخش منبع. استنادها به کاربران اجازه میدهند پاسخها را راستیآزمایی کنند و به بازبینان نشان میدهند یک پاسخ غلط از بازیابی بد آمده یا از تولید بد.
۵. انتخاب مدل و ارائهدهنده#
مدل را وقتی یک مجموعه ارزیابی دارید انتخاب کنید، تا تصمیم بر اساس داده شما باشد نه بنچمارکهای عمومی.
- گزینه میزبانی. یک API هاستشده، همان یا مدلهای مشابه در یک منطقه ابری EU و یک مدل متنباز self-host روی زیرساخت خودتان را مقایسه کنید. هر گزینه تعادل بین کیفیت پاسخ، کنترل داده، تلاش عملیاتی و هزینه را جابهجا میکند.
- تأخیر و هزینه بهازای هر پرسش. زمان پاسخ سرتاسری و هزینه هر سؤال پاسخدادهشده را روی سؤالات نمونه خودتان بسنجید، شامل بازیابی، ریرنکینگ و توکنهای ورودی و خروجی. کش پرامپت و مدلهای کوچکتر برای مراحل ساده میتواند این ارقام را بهطور قابلتوجهی تغییر دهد.
- فالبک و قفلشدگی. برنامهریزی کنید وقتی ارائهدهنده داون است یا مدلی را بازنشسته میکند چه اتفاقی میافتد: یک ارائهدهنده دوم، یک حالت تنزلیافته یا یک پیام خطای واضح. پرامپتها، مجموعه ارزیابی و لایه بازیابی را خنثی نسبت به ارائهدهنده نگه دارید تا تعویض یک تغییر کانفیگ بهعلاوه یک اجرای eval باشد، نه بازنویسی.
۶. ارزیابی#
اگر نمیتوانید کیفیت را بسنجید، نمیتوانید آن را بهبود دهید یا تصمیم عرضه را دفاع کنید.
- مجموعه eval پیش از ساخت. سؤالات واقعی بخش ۱ را به یک مجموعه ارزیابی نسخهدار با پاسخها و منابع موردانتظار تبدیل کنید و آن را با موارد سخت و مرزی گسترش دهید. آن را پیش از اولین پروتوتایپ بسازید، نه پس از اولین دمو.
- کیفیت بازیابی و پاسخ. جداگانه بسنجید آیا قطعات درست بازیابی شدند و آیا پاسخ درست، کامل و وفادار به آن قطعات است. دقت استناد را بررسی کنید: قطعه استنادشده باید واقعاً گزاره را تأیید کند.
- تستهای امتناع و تزریق پرامپت. سؤالاتی را که دستیار باید رد کند و سؤالاتی که منابعش نمیتوانند پاسخ دهند وارد کنید و تأیید کنید بهجای حدس زدن این را میگوید. اسناد و ورودیهایی اضافه کنید که سعی میکنند دستورالعملهایش را باطل کنند یا داده کاربران دیگر را استخراج کنند و تأیید کنید شکست میخورند.
- اجراهای رگرسیون و بازبینی انسانی. مجموعه eval کامل را روی هر تغییر در پرامپتها، مدلها، چانکینگ یا داده اجرا کنید و نتایج را با اجرای قبلی مقایسه کنید. درجهبندی خودکار با یک مدل این را تسریع میکند، اما یک کارشناس دامنه باید نتایج را بهطور منظم نمونهبرداری کند.
۷. یکپارچهسازی و عملیات#
دستیار باید جایی زندگی کند و کسی باید پس از عرضه آن را اداره کند.
- کانال و ورود. تصمیم بگیرید دستیار کجا زندگی میکند: ویجت وبسایت، Slack یا Microsoft Teams، یک ابزار داخلی یا سیستم تیکت موجود. از SSO موجود خود استفاده کنید تا هویت و مجوزها از همان جایی بیایند که همهجای دیگر.
- تحویل به انسان و بازخورد. تعریف کنید کاربر وقتی دستیار نمیتواند کمک کند چگونه به یک نفر میرسد، با انتقال مکالمه. دکمههای بازخورد ساده اضافه کنید و بازخورد منفی را به مجموعه ارزیابی هدایت کنید.
- مدل هزینه و مانیتورینگ. هزینه هر پرسش و هر ماه را در استفاده موردانتظار و اوج تخمین بزنید و هشدار بودجه تنظیم کنید. تأخیر، نرخ خطا، نرخ امتناع و بازخورد کاربر را مانیتور کنید، با لاگهای تحریفشده طبق توافق بخش ۳.
- ریایندکس، مالکیت محتوا و حوادث. ریایندکس را هنگام تغییر اسناد منبع خودکار کنید، شامل حذفها، تا دستیار هرگز محتوای پسگرفتهشده را نقل نکند. نام ببرید چه کسی مشکلات محتوا را درست میکند و یک فرایند حادثه برای پاسخهای غلط، مضر یا لو رفته تعریف کنید، شامل اینکه چگونه دستیار را سریع خاموش کنید.
۸. معیارهای Go/No-Go#
قواعد تصمیم را پیش از رسیدن نتایج توافق کنید، تا تصمیم بر اساس قوت یک دموی خوب گرفته نشود.
- آستانههای ازپیشتوافقشده. حداقل سطح برای درستی پاسخ و دقت استناد روی مجموعه eval، تأخیر و هزینه قابلقبول بهازای پرسش و تحمل صفر برای پاسخهایی که از مرزهای مجوز عبور میکنند را بنویسید. نتایج را با خط پایه بخش ۱ مقایسه کنید.
- پایلوت زمانبندیشده با خروج مشخص. یک پایلوت با گروه کوچکی از کاربران واقعی برای دورهای ثابت اجرا کنید، با شخصی نامدار که تصمیم را میگیرد. محدود کردن اسکوپ یا توقف نتیجهای مشروع است و بسیار ارزانتر از فهمیدن پس از عرضه کامل.
چگونه میتوانیم کمک کنیم#
اگر میخواهید این چکلیست را با ما طی کنید، مستقیمترین مسیر اسپرینت اثبات ارزش هوش مصنوعی با اسکوپ ثابت ماست. در دو هفته مورد استفاده را با شما اسکوپ میکنیم، یک پروتوتایپ RAG یا ایجنت روی داده خودتان میسازیم، یک مجموعه ارزیابی ایجاد میکنیم، یک مدل هزینه آماده میکنیم و یک گزارش go/no-go تحویل میدهیم که میتوانید به تصمیمگیرندگان خود ببرید. جزئیات در صفحه قیمتگذاری و خدمات هوش مصنوعی و اتوماسیون ما آمده است.
پیش از اینکه هر سندتان به یک مدل برسد، با شما توافق میکنیم داده چگونه مدیریت شود؛ میتوانید از قبل بخوانید چگونه داده مشتری را در پروژههای هوش مصنوعی مدیریت میکنیم. اگر ترجیح میدهید با یک گفتوگو شروع کنید، یک تخمین رایگان درخواست کنید و مورد استفادهای که در ذهن دارید را توصیف کنید.