مایکروسافت پیش‌نویس آیین‌نامه هوش مصنوعی انسان‌گرا را منتشر کرد
مایکروسافت پیش‌نویس «آیین‌نامه هوش مصنوعی انسان‌گرا» را برای مدل‌های آینده MAI منتشر کرده است؛ سندی که فراتر از توصیه‌های کلی ایمنی، درباره نحوه کنترل واقعی مدل‌ها و عامل‌های هوشمند صحبت می‌کند.
بر اساس این چارچوب، مدل‌ها نباید به حملات سایبری، ساخت تسلیحات، تولید دیپ‌فیک مخرب، دستکاری گسترده انسان‌ها یا فرار از نظارت کمک کنند. همچنین باید همواره قابل توقف و اصلاح باشند، فقط در محدوده مجوزهای خود فعالیت کنند، حداقل سطح دسترسی لازم را داشته باشند و آثار اقدامات و فراخوانی ابزارها را برای ممیزی و نظارت انسانی ثبت کنند.
اصول اصلی آیین‌نامه
- اولویت محدودیت‌های ایمنی: محدودیت‌های مطلق سند بر تنظیمات اپراتور و دستورهای کاربر اولویت دارند.
- قابلیت توقف و اصلاح: مدل باید در هر زمان امکان توقف، اصلاح یا محدودسازی داشته باشد.
- حداقل سطح دسترسی: مدل فقط باید به منابع و ابزارهایی دسترسی داشته باشد که برای انجام وظیفه ضروری هستند.
- فعالیت در محدوده مجاز: اقدامات مدل باید به محدوده مجوزهای تعیین‌شده محدود بماند.
- قابلیت ممیزی: اقدامات، تصمیم‌ها و فراخوانی ابزارها باید برای بررسی و نظارت انسانی قابل مشاهده باشند.
اهمیت این رویکرد برای توسعه عامل‌های هوشمند
از نگاه مهندسی نرم‌افزار، این رویکرد اهمیت زیادی دارد؛ زیرا عامل‌های هوشمند قابل اعتماد فقط به مدل بهتر نیاز ندارند. آن‌ها باید در کنار مدل، از مجوزدهی دقیق، شرایط توقف مشخص، عملیات قابل بازگشت، پایش زمان اجرا و کنترل‌های بیرونی برخوردار باشند.
مایکروسافت اعلام کرده است که این سند هنوز پیش‌نویس است و برای شش هفته در معرض مشاوره عمومی قرار دارد. همچنین این آیین‌نامه در وضعیت فعلی برای آموزش مدل‌ها استفاده نمی‌شود. بنابراین انتشار آن به‌تنهایی به معنای برآورده شدن همه این الزامات در مدل‌های MAI نیست.
برداشت و پیامدهای عملی
برداشت من از این مطلب این است...
اهمیت فنی این خبر در آن است که مایکروسافت رفتار مدل را صرفاً یک مسئله پرامپت‌نویسی یا فیلتر محتوا نمی‌داند، بلکه آن را بخشی از معماری حاکمیت سیستم تعریف می‌کند. سلسله‌مراتب دستورها، محدودیت‌های غیرقابل‌تغییر، قابلیت توقف، حداقل سطح دسترسی، اجرای محدود به محدوده مجاز و ثبت آثار اقدامات، شباهت زیادی به اصول سیستم‌عامل‌ها، امنیت ابری و نرم‌افزارهای حساس دارند.
برای تیم‌هایی که عامل‌های هوشمند می‌سازند، پیام عملی این است که خودمختاری قابل اعتماد باید با کنترل‌های بیرونی مدل، مجوزهای دقیق، شرایط توقف روشن، فراخوانی‌های قابل ممیزی و عملیات قابل بازگشت همراه شود. تیم‌های محصول و تصمیم‌گیرندگان فنی نیز باید پیش از استقرار چنین سامانه‌هایی، معیارهای قابل اندازه‌گیری برای ایمنی، سطح دسترسی، قابلیت بازگشت و کیفیت نظارت انسانی تعریف کنند.
ارزش واقعی این سند در نهایت به ارزیابی‌های قابل اندازه‌گیری، ضمانت اجرایی و عملکرد آن در محیط‌های تولیدی وابسته خواهد بود. از همین رو، تبدیل چنین اصولی به استانداردهای عملیاتی و قابل آزمون، اهمیت بیشتری از انتشار یک سند سیاستی صرف دارد.
هنوز دیدگاهی تایید نشده است.