نوکیا AnyJev را متن‌باز کرد؛ لایه‌ای بدون آموزش برای تبدیل مدل‌های زبانی متن‌باز به مدل‌های تصمیم‌گیری کالیبره
نوکیا AnyJev را به‌صورت متن‌باز منتشر کرده است؛ کتابخانه‌ای پایتونی که می‌تواند هر مدل زبانی متن‌باز را بدون آموزش مجدد به یک مدل تصمیم‌گیری نوع‌دار تبدیل کند.
مسئله‌ای که AnyJev حل می‌کند
در بسیاری از کاربردهای عملی، مدل زبانی باید به‌جای تولید متن آزاد، از میان چند گزینه ثابت انتخاب کند. برای نمونه، این الگو در مسیریابی درخواست‌ها، تشخیص نیت کاربر، کنترل سیاست‌ها و ارزیابی ریسک کاربرد دارد. بااین‌حال، در روش‌های رایج مبتنی بر لاجیت، دو مشکل مهم دیده می‌شود: پاسخ مدل ممکن است با جابه‌جایی ترتیب گزینه‌ها تغییر کند و احتمال اطمینان مدل نیز الزاماً بازتاب‌دهنده احتمال درست‌بودن تصمیم نیست.
روش کار AnyJev
AnyJev یک لایه اعتمادپذیری روی مدل موجود قرار می‌دهد و بدون نیاز به آموزش مجدد، خروجی آن را برای وظایف تصمیم‌گیری انتخابی پایدارتر می‌کند. این کتابخانه دو روش اصلی ارائه می‌دهد:
- روش L0: با چرخش گزینه‌ها و اصلاح سوگیری پیشین، اثر جایگاه و ترتیب گزینه‌ها را کاهش می‌دهد.
- روش L1: با استفاده از کالیبراسیون دما، احتمال اطمینان مدل را به تصمیمی قابل‌اعتمادتر تبدیل می‌کند.
نتایج آزمایش
در آزمایشی روی مجموعه‌داده BANKING77 و با استفاده از مدل Qwen3-8B، نرخ تغییر پاسخ از ۰٫۲۳۰ به ۰٫۰۷۳ کاهش یافت؛ یعنی حساسیت تصمیم‌ها به جابه‌جایی گزینه‌ها به‌طور محسوسی کمتر شد. همچنین سهم تصمیم‌های قابل‌خودکارسازی، با درنظرگرفتن خطای ۵ درصد، از ۷٫۷ درصد به ۵۲ درصد افزایش یافت.
این نتایج نشان می‌دهند که در برخی سامانه‌های تصمیم‌گیری، افزودن یک لایه کالیبراسیون و پایدارسازی به مدل فعلی می‌تواند از آموزش یک مدل کاملاً جدید ارزشمندتر باشد.
کاربردهای عملی برای تیم‌های فنی
AnyJev می‌تواند برای تیم‌هایی مفید باشد که از مدل‌های زبانی متن‌باز در تصمیم‌های چندگزینه‌ای استفاده می‌کنند؛ به‌ویژه زمانی که لازم است برای خودکارسازی، آستانه مشخصی تعریف شود و تصمیم‌های نامطمئن به انسان ارجاع داده شوند. مسیریابی درخواست‌ها، دسته‌بندی نیت، کنترل ریسک و اجرای سیاست‌های سازمانی از جمله سناریوهای مناسب برای بررسی این رویکرد هستند.
بااین‌حال، نتایج گزارش‌شده در BANKING77 نباید بدون اعتبارسنجی مستقل وارد محیط تولید شوند. استقرار واقعی به پایش تغییر توزیع داده، آزمون جابه‌جایی گزینه‌ها، ارزیابی مستمر کالیبراسیون، بررسی حملات خصمانه، پایش آستانه‌ها و درنظرگرفتن مسیر بازگشت به تصمیم‌گیری انسانی نیاز دارد.
تحلیل و جمع‌بندی
برداشت من از این مطلب این است که...
اهمیت AnyJev در معرفی یک مدل جدید نیست؛ ارزش اصلی آن ارائه لایه‌ای برای افزایش قابلیت اعتماد مدل‌های متن‌باز موجود در نقش سامانه‌های تصمیم‌گیری انتخابی است. بسیاری از تیم‌های مهندسی احتمال توکن بعدی را برای مسیریابی یا تشخیص نیت به‌کار می‌گیرند، اما این احتمال‌ها می‌توانند تحت‌تأثیر سوگیری برچسب و جایگاه گزینه قرار داشته باشند. AnyJev با پایدارترکردن این تصمیم‌ها، امکان تعریف آستانه برای خودکارسازی ایمن‌تر را فراهم می‌کند.
بیشترین ارزش این رویکرد در سامانه‌هایی است که می‌توانند در موارد نامطمئن تصمیم را متوقف کرده و آن را به انسان واگذار کنند. بااین‌حال، برای استفاده عملی باید کالیبراسیون هر مدل و هر نوع پرسش، تغییر توزیع داده، آزمون جابه‌جایی گزینه‌ها، سناریوهای خصمانه و عملکرد مسیر ارجاع به انسان به‌صورت مستمر ارزیابی شود.
هنوز دیدگاهی تایید نشده است.