دو مرحله با دو هدف متفاوت
در مجموعه بزرگ اسناد، مرحله اول باید سریع باشد و نامزدهای مناسب را پیدا کند. بازرتبه‌بندی روی همین فهرست محدود کار می‌کند تا پرسش و محتوای هر نامزد با دقت بیشتری مقایسه شوند. خروجی این مرحله، ترتیب تازه نتایج است؛ نه پاسخ نهایی و نه سند تازه.
مستندات Sentence Transformers معماری بازیابی و بازرتبه‌بندی را با مدل‌های Cross-Encoder توضیح می‌دهد. این مدل‌ها پرسش و متن را با هم بررسی می‌کنند، اما اجرای آن‌ها روی همه اسناد معمولاً مناسب همان مسیر سریع بازیابی نیست.
برای ادامهٔ این بحث، مقالهٔ «جست‌وجوی معنایی با PostgreSQL و pgvector؛ از مدل تا ایندکس» را در دانشنامهٔ لیان بخوانید.
مثال اجرایی: پاسخ درباره مرخصی کارکنان
پیشنهاد تحریریه برای آزمون این فناوری، پرسشی درباره انتقال مانده مرخصی است. بازیابی اولیه ممکن است آیین‌نامه جاری، بخشنامه قدیمی و یک گزارش مشابه را پیدا کند. بازرتبه‌بند باید محتوای پاسخ‌دهنده را بالاتر بیاورد، اما معتبر بودن نسخه باید از فراداده و قواعد سازمان مشخص شود.
مدل نمی‌تواند به‌تنهایی بداند کدام سند مصوب است. وضعیت اعتبار، تاریخ اثر و سطح دسترسی را پیش از تولید پاسخ کنترل کنید. در غیر این صورت، سند منسوخ ولی خوش‌بیان ممکن است در رتبه بالاتری قرار گیرد.
کجا کیفیت از دست می‌رود؟
اگر سند درست اصلاً وارد نامزدهای اولیه نشده باشد، بازرتبه‌بند آن را بازیابی نمی‌کند. بنابراین کیفیت مرحله اول و مرحله دوم را جدا بسنجید. قطعه‌ای که عنوان، جدول یا تبصره ضروری را از دست داده نیز برای رتبه‌بندی و تولید پاسخ ناقص است.
پشتیبانی زبانی مدل را با پرسش فارسی و متن‌های ترکیبی آزمایش کنید. امتیاز مرتبط بودن، احتمال درستی پاسخ نیست؛ آستانه‌گذاری باید بر اساس نمونه‌های همان سازمان و رفتار واقعی مدل انجام شود.
آزمون پذیرش و تصمیم درباره هزینه
روی پرسش‌های ثابت، نسخه بدون بازرتبه‌بندی را با نسخه دارای آن مقایسه کنید. جایگاه سند درست، کیفیت استناد، تأخیر و هزینه هر پرسش را ثبت کنید. برای سؤال دارای کد دقیق و سؤال مبهم، نتایج را جدا ببینید تا میانگین، ضعف یک گروه را پنهان نکند.
تعداد نامزدهای ورودی و قطعه‌های نهایی را به‌تدریج تنظیم کنید. اگر بهبود کیفیت برای سناریوی شما اندک و تأخیر زیاد است، اجرای انتخابی یا حذف این مرحله تصمیم معقولی است. پیچیده‌تر شدن زنجیره نباید به‌خودی‌خود معیار پیشرفت باشد.
یک خطای معمول: پاسخ از آیین‌نامه قدیمی
فرض کنید کارمند درباره انتقال مانده مرخصی می‌پرسد و بازیابی اولیه هم آیین‌نامه قدیمی و هم نسخه جاری را پیدا می‌کند. بازرتبه‌بندی می‌تواند ارتباط پرسش و قطعه را دقیق‌تر بررسی کند، اما تشخیص اعتبار سازمانی را نباید فقط به شباهت متن بسپارید. نسخه، تاریخ اجرا و گروه مشمول را به‌صورت داده همراه نگه دارید و طبق سیاست مشخص فیلتر کنید. متنی با عبارت‌های شبیه‌تر ممکن است از نظر حقوقی یا اجرایی دیگر معتبر نباشد.
در مجموعه آزمون، سؤال یک کارمند عادی را کنار سؤال مربوط به قرارداد متفاوت قرار دهید. پاسخ مرجع باید روشن کند کدام بند به کدام گروه مربوط است. نامزدهای اولیه، رتبه پس از بازرتبه‌بندی و شواهد نهایی را کنار هم ببینید. اگر سند درست از رتبه پایین به جایگاه قابل‌استفاده آمده، تغییر مفید است؛ اگر سند نادرست صرفاً امتیاز بالاتری گرفته، عدد امتیاز به‌تنهایی خبر خوبی نیست.
قطعه‌ها باید زمینه کافی برای داوری داشته باشند
قطعه‌ای که فقط می‌گوید «تا پنج روز قابل انتقال است» بدون عنوان بخش و گروه مشمول ممکن است مبهم باشد. در طراحی پیشنهادی، متن قابل‌ارزیابی را با عنوان سند و بخش مرتبط همراه کنید و محدوده طول را با نیاز مدل انتخابی بسنجید. اضافه کردن کل سند به هر قطعه هم انتخاب مطلوب همیشگی نیست؛ متن اضافی می‌تواند هزینه را بالا ببرد و عبارت کلیدی را میان اطلاعات نامرتبط پنهان کند.
اگر پاسخ به یک جدول وابسته است، نام ستون و واحد را از مقدار جدا نکنید. برای سند فارسی، ترتیب سطرها و نشانه‌های منفی یا استثناها را بازبینی کنید. قطعه‌بندی را قبل از مقایسه مدل‌های بازرتبه‌بندی ثابت نگه دارید؛ وگرنه معلوم نمی‌شود بهبود از مدل آمده یا از آماده‌سازی متن. شناسه قطعه و نسخه سند را حفظ کنید تا هر جابه‌جایی رتبه قابل‌پیگیری باشد.
تعداد نامزدها را با محدودیت زمان تنظیم کنید
برای پایلوت، چند تعداد نامزد متفاوت را روی پرسش‌های یکسان آزمایش کنید و هزینه کل مسیر را ثبت کنید. بیشتر شدن نامزدها ممکن است شانس حضور سند درست را افزایش دهد، اما بررسی همه آن‌ها زمان و مصرف بیشتری دارد. انتخاب باید بر اساس نیاز همان فرایند باشد؛ جست‌وجوی کارشناس پشت میز و سامانه پاسخ‌گویی لحظه‌ای الزام زمانی یکسانی ندارند. عدد پیشنهادی فروشنده را بدون آزمون معیار نهایی نگیرید.
هم میانگین و هم تجربه پرسش‌های کند را ببینید. اگر سرویس بازرتبه‌بندی در دسترس نبود، از قبل مشخص کنید نمایش نتایج بازیابی اولیه مجاز است یا باید پاسخ متوقف شود. برای پرسش حساس درباره سیاست سازمان، بازگشت خاموش به مسیر ضعیف‌تر می‌تواند کاربر را گمراه کند. وضعیت محدودیت را در تجربه کاربر نشان دهید و نتیجه حالت جایگزین را هم در ارزیابی جدا ثبت کنید.
دفتر خطا بسازید، نه فقط نمودار امتیاز
شکست‌ها را در چهار گروه پیشنهادی بنویسید: سند مرجع وارد نامزدها نشده، وارد شده ولی پایین مانده، قطعه نامناسب انتخاب شده یا پاسخ‌ساز شواهد درست را نادرست تفسیر کرده است. بازرتبه‌بندی عمدتاً برای گروه دوم ارزش مستقیم دارد؛ سایر گروه‌ها به اصلاح منبع، قطعه‌بندی یا تولید نیاز دارند. چند نمونه از هر گروه را با توضیح کارشناس نگه دارید تا اقدام بعدی روشن باشد.
مقایسه را روی مجموعه‌ای ثابت و دارای پاسخ مرجع انجام دهید و بخشی از پرسش‌ها را برای ارزیابی نهایی کنار بگذارید. نتیجه مناسب باید هم کیفیت جایگاه شواهد و هم درستی پاسخ نهایی را نشان دهد. اگر تنها معیار بالاتر رفتن امتیاز مدل خودش باشد، شاهد مستقلی از بهبود ندارید. تصمیم ادامه را با تغییر قابل‌اندازه‌گیری در یافتن سند معتبر، زمان پاسخ و بار بازبینی کارشناس بگیرید.
پرسش‌های متداول
آیا بازرتبه‌بند سند تازه پیدا می‌کند؟
خیر. فقط نامزدهای ورودی را مرتب می‌کند؛ ضعف بازیابی اولیه باید جدا اصلاح شود.
آیا امتیاز آن نشانه اطمینان پاسخ است؟
خیر. این امتیاز درباره ارتباط متن و پرسش است و جای بررسی صحت و اعتبار سند را نمی‌گیرد.
منابع
- Sentence TransformersRetrieve & Re-RankOfficial documentation
- MicrosoftHybrid search overviewOfficial documentation
مطالعهٔ بیشتر در دانشنامهٔ لیان
- لیان داتا پارسجست‌وجوی معنایی با PostgreSQL و pgvector؛ از مدل تا ایندکسبرای ادامهٔ فنی بازیابی، راهنمای pgvector لیان نمونهٔ SQL، انتخاب فاصله و ایندکس، و سنجش کیفیت جست‌وجو را ارائه می‌کند.
- لیان داتا پارسچطور پاسخ هوش مصنوعی را به اسناد سازمان متصل کنیم؟برای ادامهٔ بحث پاسخ مستند، آماده‌سازی اسناد و سنجش جداگانهٔ کیفیت بازیابی و صحت پاسخ را در دانشنامهٔ لیان بخوانید.