Hallucination چیست؟
Hallucination به خروجی نادرست، ساختهشده یا بدون پشتوانه گفته میشود که ممکن است با لحن مطمئن بیان شود. این مفهوم فقط «دروغ گفتن مدل» نیست؛ مدل الزاماً نمیداند پاسخ نادرست است.
مدل زبانی الگوهای محتمل متن را تولید میکند و تجربه انسانی از حقیقت یا قصد ندارد.
چرا مدل دچار خطا میشود؟
ابهام پرسش، کمبود Context، داده قدیمی، تعارض منابع و فشار برای پاسخ قطعی میتواند خطا را بیشتر کند. محدودیت مدل یا تبدیل نادرست نتیجه ابزار نیز عامل دیگری است.
بنابراین خطا را باید ویژگی کل سامانه دانست، نه فقط مدل.
انواع خطا
خطا میتواند ادعای واقعی ساختگی، نقلقول یا منبع جعلی، عدد اشتباه، ترکیب چند موجودیت یا نتیجهای ناسازگار با سند بازیابیشده باشد.
- ادعای بدون منبع
- Citation نامرتبط یا ساختگی
- تفسیر نادرست سند
- خطای عددی یا زمانی
- نتیجه نادرست ابزار
چرا این مسئله در سازمان مهم است؟
در منابع انسانی، حقوقی، مالی یا عملیات، پاسخ نادرست میتواند به تصمیم یا اقدام واقعی تبدیل شود. هرچه سطح اختیار Agent بیشتر باشد، کنترل پیش از اقدام مهمتر است.
برای سناریوهای پرریسک باید امکان امتناع، ارجاع به انسان و نمایش عدم قطعیت وجود داشته باشد.
RAG چه کمکی میکند؟
RAG اطلاعات مرتبط را پیش از تولید پاسخ بازیابی میکند و میتواند ریسک پاسخ بدون پشتوانه را کاهش دهد، اما آن را صفر نمیکند.
Retrieval ضعیف، سند قدیمی، Chunk نامناسب یا منبعی خارج از مجوز میتواند Context نامناسب بسازد.
Grounding و Citation
Grounding یعنی ادعا به شواهد مشخص متصل باشد. Citation مسیر بررسی را نشان میدهد، اما بهتنهایی تضمین نمیکند ادعا واقعاً از همان منبع پشتیبانی میشود.
تازگی، مالکیت و اعتبار منبع و نسبت دقیق ادعا با بخش استنادشده باید کنترل شود.
نقش Evaluation
Evalها باید Faithfulness، صحت ادعا، کیفیت Citation و رفتار سیستم هنگام نبود پاسخ را اندازه بگیرند. نمونههای واقعی خطا باید پس از حذف داده حساس به Dataset بازگردند.
ارزیابی دورهای برای تغییر منبع، مدل و Retrieval ضروری است.
آیا خطا کاملاً حذف میشود؟
خیر؛ میتوان احتمال و اثر خطا را کاهش داد، اما تضمین صفر برای سامانه مولد واقعبینانه نیست. معماری امن چند لایه دفاعی دارد.
منبع معتبر، Retrieval کنترلشده، Evaluation، Guardrail، محدودیت اقدام و Human Approval این لایهها را میسازند.
پرسشهای متداول
آیا Hallucination همان دروغ است؟
خیر؛ مدل لزوماً از نادرستی پاسخ آگاه نیست.
آیا RAG خطا را حذف میکند؟
خیر؛ RAG ریسک را کاهش میدهد و به کیفیت Retrieval و منبع وابسته است.
آیا وجود Citation صحت را تضمین میکند؟
خیر؛ باید بررسی شود ادعا واقعاً با منبع مرتبط و معتبر پشتیبانی میشود.
منابع
- Google CloudCheck grounding with RAGOfficial Documentation
- Google CloudGrounding overviewOfficial Documentation
- NISTArtificial Intelligence Risk Management Framework: Generative AI Profile26 July 2024 · NIST AI 600-1