دستیابی گوگل به استنتاج تا ۴٫۷ برابر سریعتر برای Qwen 3.5 با بهینهسازی TPU و پشته سروینگ
گوگل گزارشی فنی درباره بهینهسازی مدل Qwen 3.5-397B روی شتابدهنده Ironwood TPU v7x منتشر کرده است؛ گزارشی که برای مهندسان نرمافزار، تیمهای زیرساخت هوش مصنوعی و تصمیمگیرندگان فنی ارزش عملی بالایی دارد.
نتایج بهینهسازی
بر اساس این گزارش، عملکرد مدل در مرحله Decode حدود ۳٫۱ برابر و در مرحله Prefill حدود ۴٫۷ برابر بهبود یافته است. بااینحال، اهمیت اصلی پروژه فقط در این اعداد خلاصه نمیشود؛ بلکه به رویکرد چندلایهای گوگل برای دستیابی به این نتایج مربوط است.
این تیم از ترکیبی از روشهای زیر استفاده کرده است:
- موازیسازی داده برای لایههای توجه
- موازیسازی متخصصان برای بخش Mixture-of-Experts
- توسعه کرنلهای سفارشی با استفاده از JAX/Pallas
- بهینهسازی KV Cache و مدیریت حافظه
- ادغام عملیات ارتباطی و کاهش رفتوبرگشتهای غیرضروری میان تراشهها
چرا این رویکرد اهمیت دارد؟
مدلهای بزرگ از نوع MoE الزاماً با روشهای سنتی موازیسازی، مانند Tensor Parallelism، به بهترین شکل مقیاس نمیشوند. در معماری Qwen 3.5، ترکیب مسیریابی تنک متخصصان با مؤلفههایی مانند Gated DeltaNet و Grouped Query Attention، به راهکارهایی دقیقتر برای تقسیم بار میان هدها و متخصصان نیاز دارد.
راهکار ترکیبی گوگل، یعنی استفاده از موازیسازی داده برای بخش توجه و موازیسازی متخصصان برای لایههای MoE، به کاهش نامتوازنی بار کمک میکند. همچنین کرنلهای سفارشی Pallas با حذف انتقالهای غیرضروری داده، ادغام عملیات و بهبود ارتباطات بین تراشهها، فاصله میان توان نظری سختافزار و عملکرد واقعی را کاهش میدهند.
ادغام با ابزارهای متنباز
یکی از جنبههای مهم این پروژه، ادغام نتایج آن با چارچوبهای متنباز vLLM و SGLang است. به این ترتیب، بهینهسازیها فقط در یک پشته اختصاصی باقی نمیمانند و میتوانند در مسیر عمومی استقرار مدلهای متنباز مورد استفاده قرار گیرند.
این موضوع برای سازمانهایی اهمیت دارد که قصد دارند مدلهای چندوجهی و بسیار بزرگ را در محیط تولید اجرا کنند؛ زیرا عملکرد نهایی چنین سامانههایی به یک مؤلفه منفرد وابسته نیست و از تعامل معماری مدل، کامپایلر، کرنل، حافظه، شبکه و لایه سروینگ به دست میآید.
برداشت و پیام عملی برای تیمهای فنی
برداشت من از این مطلب این است که...
اهمیت این خبر فقط در اعلام یک عدد بزرگ برای سرعت نیست؛ گوگل در واقع الگویی قابل تکرار برای بهینهسازی مدلهای بزرگ و متنباز MoE ارائه کرده است. برای تیمهای مهندسی، این رویکرد نشان میدهد که پیش از خرید شتابدهندههای قدرتمندتر، باید مسیر کامل اجرای مدل بررسی شود: از نحوه تقسیم بار و شاردینگ گرفته تا رفتار حافظه، ارتباطات شبکه، کرنلهای محاسباتی و چارچوب سروینگ.
در عمل، تیمهای محصول و زیرساخت میتوانند از این الگو برای شناسایی گلوگاه واقعی سامانه استفاده کنند. ممکن است مشکل اصلی در ظرفیت حافظه، هزینه ارتباط میان تراشهها، توزیع نامتوازن متخصصان یا پیادهسازی لایه سروینگ باشد. بنابراین، بهینهسازی عملکرد مدلهای بزرگ معمولاً به یک تصمیم منفرد درباره انتخاب GPU یا TPU محدود نمیشود؛ بلکه نتیجه همکاری همزمان چند لایه فنی است.
در نسل جدید زیرساخت هوش مصنوعی، عملکرد واقعی مدل حاصل همکاری معماری مدل، کامپایلر، کرنل، حافظه، شبکه و لایه سروینگ است؛ نه صرفاً استفاده از سختافزار قدرتمندتر.
هنوز دیدگاهی تایید نشده است.