هوش مصنوعی و اتوماسیون · · ۸ دقیقه
کیفیت RAG را چطور از بازیابی منبع تا پاسخ نهایی بسنجیم؟
برای سنجش یک دستیار RAG، باید جداگانه ببینید سند درست بازیابی می‌شود، پاسخ به همان شواهد وفادار می‌ماند و سؤال کاربر را کامل جواب می‌دهد یا نه. این راهنما مجموعهٔ آزمون و روش تشخیص خطا را قدم‌به‌قدم می‌سازد.
پاسخ کوتاه: بازیابی و پاسخ را جداگانه بسنجید
اگر دستیار RAG پاسخ روانی می‌دهد، هنوز نمی‌دانیم سامانه درست کار کرده است. RAG یا «تولیدِ تقویت‌شده با بازیابی» هنگام پاسخ، بخش‌هایی از اسناد را پیدا می‌کند و همراه پرسش به مدل می‌دهد. کیفیت کل زنجیره دست‌کم به دو مرحله وابسته است: آیا شواهد درست و کافی پیدا شده‌اند؟ آیا پاسخ نهایی به همان شواهد وفادار است و چیزی را که کاربر پرسیده پوشش می‌دهد؟ یک پاسخ ممکن است از سند مجاز نقل کند اما نکتهٔ مهمی را جا بیندازد؛ یا با اتکا به دانش عمومی مدل، درست به نظر برسد در حالی که منبع داخلی از آن پشتیبانی نمی‌کند. بنابراین یک نمرهٔ کلی یا چند پاسخ چشم‌نواز برای تصمیم کافی نیست. باید پرسش‌های واقعی را ثبت کنید، نتیجهٔ جست‌وجو و پاسخ را جدا ببینید و برای هر نوع خطا اقدام اصلاحی مشخص داشته باشید.
مجموعهٔ آزمون را از پرسش‌های واقعی و مرجع معتبر بسازید
یک برگهٔ ارزیابی برای هر مورد این اطلاعات را نگه دارد: متن پرسش، مجموعهٔ سندهای معتبر، بخش یا جمله‌ای که پاسخ را پشتیبانی می‌کند، پاسخ مورد انتظار در حد نکته‌های اصلی و اینکه آیا سامانه باید پاسخ بدهد یا صریحاً بگوید مدرک کافی ندارد. لازم نیست برای هر سؤال یک جواب کلمه‌به‌کلمه و واحد بسازید؛ در پاسخ‌های تشریحی، معیار می‌تواند مجموعه‌ای از نکته‌های ضروری و استنادهای درست باشد. نمونه‌ها را از کارهای واقعی کاربران و موضوع‌های مختلف انتخاب کنید و اطلاعات شخصی یا محرمانه را پیش از استفاده حذف کنید. پرسش ساده، عبارت محاوره‌ای، غلط املایی رایج، نام‌های جایگزین، پرسش چندبخشی، سند دارای نسخهٔ قدیمی و پرسشی که جوابش در منابع نیست باید سهم داشته باشند. برای نمونه، دربارهٔ سیاست دورکاری، هم پرسش «چند روز در هفته؟» را آزمایش کنید، هم پرسشی که به استثناها مربوط است و هم حالتی که نسخهٔ قدیمی دستورالعمل با نسخهٔ جاری تفاوت دارد. مجموعه را به تأیید کسی برسانید که سندها و قواعد کسب‌وکار را می‌شناسد؛ تولید خودکار پرسش می‌تواند پوشش را بیشتر کند، اما به‌تنهایی مرجع حقیقت نیست.
بازیابی را با شواهد مرتبط و جایگاه آن‌ها در نتایج بررسی کنید
برای مرحلهٔ جست‌وجو، از داور بخواهید مشخص کند کدام سندها یا قطعه‌ها واقعاً پاسخ‌گو هستند؛ بعد خروجی سامانه را با همین برچسب‌ها مقایسه کنید. «یادآوری در k نتیجهٔ اول» نشان می‌دهد چه سهمی از شواهد لازم در فهرست اول پیدا شده و «دقت در k نتیجهٔ اول» می‌گوید چه سهمی از همان فهرست به پرسش مربوط بوده است. این دو را باهم بخوانید: یادآوری پایین یعنی مدرک لازم جا افتاده؛ دقت پایین یعنی زمینه با قطعه‌های نامرتبط شلوغ شده است. اگر ترتیب نتایج مهم است، شاخص NDCG (امتیاز تجمعیِ تنزیل‌شده و نرمال‌شده) نشان می‌دهد سندهای مفید چه‌قدر نزدیک به ابتدای فهرست قرار گرفته‌اند. برای تصمیم روزمره، چند نمونه را هم دستی بازبینی کنید؛ عدد به‌تنهایی نشان نمی‌دهد که آیا قطعهٔ درست ناقص، قدیمی یا بدون عنوان بازیابی شده است. دشوارترین پرسش‌ها را جدا کنید: زبان محاوره‌ای فارسی، اصطلاح فنی، پرسش دربارهٔ نام خاص، چند سند مکمل یا درخواست اطلاعاتی که اصلاً در مجموعه نیست. این تفکیک روشن می‌کند مشکل از پوشش منبع، شیوهٔ تقسیم سند، عبارت جست‌وجو یا رتبه‌بندی نتیجه است.
پاسخ را با تکیه به منبع، پوشش پرسش و رفتار در نبود مدرک بسنجید
برای پاسخ نهایی چند پرسش مستقل بپرسید. آیا هر ادعای مهم در متن بازیابی‌شده پشتوانه دارد؟ آیا پاسخ همهٔ بخش‌های سؤال را پوشش می‌دهد؟ آیا واقعاً به موضوع پرسش مربوط است؟ آیا ارجاعی که کنار پاسخ دیده می‌شود همان جمله را پشتیبانی می‌کند، نه فقط سندی با عنوان مشابه؟ وفاداری به منبع یا «faithfulness» یعنی پاسخ از زمینهٔ بازیابی‌شده فراتر نرود؛ اما این معیار به‌تنهایی صحت سند را ثابت نمی‌کند. ممکن است دستیار یک دستورالعمل قدیمی را دقیق نقل کند و همچنان پاسخ عملی نادرستی بدهد. برای سنجش صحت، نسخه و اعتبار خود منبع را نیز بررسی کنید. پاسخ‌های بی‌منبع، متناقض یا ناقص باید نتیجهٔ مشخصی داشته باشند: سؤال روشن‌کننده، اعلام نبود شواهد یا ارجاع به مسئول. در مثال سیاست دورکاری، اگر منبع فقط تعداد روز را می‌گوید و پرسش دربارهٔ استثناست، پاسخ نباید استثنا را از خودش بسازد. یک ارزیاب انسانی باید صحت ارجاع‌ها و موارد پرپیامد را ببیند؛ شباهت واژگانی پاسخ با جواب مرجع، جای قضاوت محتوایی را نمی‌گیرد.
داوری خودکار را ابزار غربال بدانید، نه مرجع نهایی
مدل ارزیاب می‌تواند تعداد زیادی پاسخ را بر اساس معیارهای ثابت غربال کند و نمونه‌های مشکوک را برای بررسی انسانی بالا بیاورد. این کار سرعت بازبینی را بیشتر می‌کند، اما خود ارزیاب هم ممکن است برداشت نادرست داشته باشد، به پاسخ روان امتیاز زیاد بدهد یا تفاوت ظریف میان دو نسخهٔ سند را نبیند. برای کنترل آن، بخشی از نمونه‌ها را چند بار یا با داور انسانی مقایسه کنید و اختلاف‌ها را ثبت کنید. نتیجه را بر اساس نوع سؤال، منبع و پیامد خطا جدا کنید؛ میانگین خوب ممکن است شکست در یک دستهٔ مهم را پنهان کند. اگر از ابزار بیرونی برای داوری استفاده می‌کنید، پیش از ارسال پرسش و متن سند، حساسیت داده و شرایط پردازش آن را بررسی کنید. آزمون خودکار را نیز به سناریوهای دارای پاسخ و بدون پاسخ، ارجاع غلط، سند متناقض و پرسش چندبخشی گسترش دهید. در مواردی که پاسخ بر تصمیم مالی، حقوقی یا دسترسی افراد اثر می‌گذارد، نمونهٔ انسانی و مسیر ارجاع باید بخشی از معیار پذیرش باشد؛ هیچ امتیاز ماشینی به‌تنهایی تضمین نمی‌کند که پاسخ در دنیای واقعی امن و مناسب است.
از الگوی خطا برای انتخاب اصلاح درست استفاده کنید
هر بار فقط تغییرهای مرتبط را مقایسه کنید و کنار نتایج، نسخهٔ مجموعهٔ سند، روش جست‌وجو، تعداد قطعه‌های بازیابی‌شده، مدل و دستور پاسخ را ثبت کنید. اگر شواهد درست پیدا نمی‌شوند، اول کامل‌بودن منبع و نسخهٔ آن را بررسی کنید؛ سپس سراغ تقسیم‌بندی متن، جست‌وجوی واژگانی یا معنایی، رتبه‌بندی و تعداد نتیجه‌ها بروید. زیادکردن تعداد قطعه‌ها همیشه کیفیت را بالا نمی‌برد؛ ممکن است زمینهٔ طولانی‌تر حواس مدل را از بخش اصلی پرت کند یا اطلاعات قدیمی را وارد کند. اگر بازیابی درست است اما پاسخ ناقص می‌ماند، قالب زمینه، شیوهٔ اشاره به منبع، دستور پاسخ‌گویی و رفتار در نبود مدرک را جداگانه بیازمایید. اگر پاسخ از شواهد فراتر می‌رود، شرط استناد و امتناع را روشن‌تر کنید و موارد ناسازگار را وارد آزمون کنید. برای هر دستهٔ پرریسک یک حد پذیرش و شرط توقف بگذارید، نه اینکه همهٔ دسته‌ها را با یک نمرهٔ میانگین بسنجید. تغییر را با همان مجموعهٔ ثابت مقایسه کنید تا بهبود یک گروه، افت گروه دیگر را پنهان نکند.
ارزیابی را با تغییر منبع و استفادهٔ واقعی ادامه دهید
مجموعهٔ آزمون یک دارایی زنده است، نه برگه‌ای که پیش از انتشار یک‌بار پر شود. هر وقت سندی اصلاح یا حذف شد، مدل یا تنظیمات جست‌وجو تغییر کرد، یا کاربر پاسخ را تصحیح کرد، نمونهٔ مربوط را بازبینی کنید. در دورهٔ آزمایشی، پرسش‌های واقعی را با رعایت حریم خصوصی به‌صورت نمونه‌برداری‌شده بررسی کنید و علت نارضایتی، ارجاع اشتباه و پاسخ‌ندادن بی‌مورد را به فهرست آزمون برگردانید. پیش از هر تغییر مهم، مقایسهٔ نسخهٔ تازه با نسخهٔ قبلی نشان می‌دهد آیا بهبود موردنظر با افت ناخواسته در پرسش‌های دیگر همراه شده است. این کار هزینهٔ نگهداری دارد و برای یک مجموعهٔ کوچک یا دستیار کم‌ریسک لازم نیست از ابتدا به فرایند پیچیده تبدیل شود؛ با چند پرسش پرتکرار و یک مرور انسانی منظم شروع کنید و متناسب با اثر سامانه گسترش دهید. ارزیابی مستمر کمک می‌کند پاسخ درست، مستند و متناسب با کاربرد واقعی بماند.