عامل AVO انویدیا در ARC-AGI-3 به امتیاز ۱۰۰ درصد رسید و کرنلهای GPU را بهصورت خودکار بهینه کرد
انویدیا معماری جدیدی با نام AVO معرفی کرده است؛ معماریای که برای انجام وظایف طولانیمدت و چندمرحلهای طراحی شده و هدف آن فراتر از تولید یک پاسخ یا قطعهکد منفرد است.
این عامل در یک اجرای هفتروزه، بیش از ۵۰۰ مسیر بهینهسازی را برای کرنلهای پردازنده گرافیکی بررسی کرد و ۴۰ نسخه را به ثبت رساند. اجرای این آزمایش روی سختافزار NVIDIA B200 به بهبود عملکرد کرنلهای attention تا ۳.۵ درصد نسبت به cuDNN و تا ۱۰.۵ درصد نسبت به FlashAttention-4 منجر شد.
انویدیا سپس همین معماری را در مجموعه عمومی ARC-AGI-3 ارزیابی کرد. بر اساس نتایج منتشرشده، AVO توانست هر ۱۸۳ مرحله را در ۲۵ محیط با امتیاز ۱۰۰ تکمیل کند.
AVO چگونه کار میکند؟
نکته مهم در این گزارش فقط امتیاز بنچمارک نیست، بلکه معماری حلقهای AVO است. این معماری فرایندی تکرارشونده را دنبال میکند که شامل مراحل زیر است:
- بررسی زمینه و وضعیت فعلی مسئله
- برنامهریزی و شکلدادن فرضیه
- تغییر کد یا پیکربندی
- اجرای آزمون و اندازهگیری نتیجه
- تحلیل بازخورد و شناسایی خطا
- اصلاح راهکار و حفظ اطلاعات مفید برای مراحل بعدی
این رویکرد میتواند عاملهای کدنویس را از ابزارهایی برای تولید اولیه کد، به سیستمهایی برای بهینهسازی، رفع اشکال، آزمون و نگهداری مستمر نرمافزار تبدیل کند. بااینحال، نتایج منتشرشده از سوی انویدیا همچنان باید با ارزیابیهای مستقل و کنترلشده بررسی شوند.
چرا این نتیجه اهمیت دارد؟
عملکرد عاملهای بلندمدت فقط به توانایی مدل زبانی وابسته نیست. حافظه پایدار، ابزارهای قابلاعتماد، بازخورد دقیق، نظارت انسانی یا خودکار، امکان بازگشت به وضعیت قبلی و سازوکارهای بازیابی خطا، همگی در موفقیت چنین سیستمهایی نقش دارند.
برای تیمهای مهندسی، این تفاوت اهمیت زیادی دارد: تولید یک قطعهکد در یک مرحله با اجرای یک فرایند مهندسی چندروزه، قابلاندازهگیری و قابلبازگشت یکسان نیست. عاملهای بلندمدت باید بتوانند تصمیمهای قبلی خود را بررسی کنند، از شکستها درس بگیرند و در چارچوب محدودیتهای مشخص به کار ادامه دهند.
تحلیل و برداشت
برداشت من از این مطلب این است که...
اهمیت فنی این خبر بیشتر از آنکه به امتیاز یک بنچمارک محدود باشد، به معماری سیستم مربوط است. AVO عامل هوش مصنوعی را بهعنوان یک حلقه کنترلی تکرارشونده طراحی میکند: بررسی زمینه، شکلدادن فرضیه، تغییر کد، اجرای آزمون، تحلیل بازخورد، اصلاح خطا و حفظ وضعیت مفید.
این الگو برای مهندسی نرمافزار، بهینهسازی کامپایلر، تنظیم زیرساخت و پژوهشهای علمی، مناسبتر از تولید یکباره کد است. نتایج انویدیا همچنین تفاوت میان ارزیابی یک مدل و ارزیابی یک سیستم کامل را نشان میدهد. امتیاز ARC-AGI-3 یک نتیجه پژوهشی منتشرشده از سوی شرکت است و بهتنهایی ثابت نمیکند که تمام بهبود حاصل فقط از AVO ناشی شده است.
برای تیمهای تولیدی، درس عملی این است که باید روی ابزارهای آزمون پایدار، مشاهدهپذیری، امکان بازگشت به نسخههای قبلی، دروازههای ارزیابی و خودکارسازی محدود و قابلکنترل سرمایهگذاری کنند. عاملهای خودکار زمانی ارزش واقعی ایجاد میکنند که خروجی آنها قابلاندازهگیری، تصمیمهایشان قابلردیابی و خطاهایشان قابلبازیابی باشد.
به نظر شما مهمترین جزء برای عاملهای تولیدی آینده چیست: مدل بهتر، حافظه پایدار، ابزارهای دقیقتر یا کنترل و مشاهدهپذیری؟
هنوز دیدگاهی تایید نشده است.