
معرفی روش HOPE آمازون برای هرس خبرگان مدلهای MoE
پژوهشگران آمازون در وبلاگ Hugging Face روش HOPE را برای هرس مدلهای ترکیبی خبرگان معرفی کردهاند که همکاری میان خبرگان را حفظ میکند. این روش میکوشد هزینه استنتاج و حافظه را کاهش دهد و در عین حال افت دقت را به حداقل برساند.
شرکت آمازون در وبلاگ Hugging Face مقالهای درباره روش HOPE (هرس مرتبه بالاتر خبرگان) منتشر کرد. این روش برای فشردهسازی مدلهای ترکیبی خبرگان (Mixture of Experts) طراحی شده است؛ مدلهایی که در آنها تنها بخشی از خبرگان (Experts) برای هر ورودی فعال میشوند. در مدلهای ترکیبی خبرگان، هر لایه شامل چندین خبرگز است و مسیریابی (Routing) تعیین میکند کدام خبرگان در پردازش هر توکن مشارکت کنند. حذف ساده و مستقل برخی خبرگان میتواند روابط همفعالی و وابستگیهای عملکردی آنها را بر هم بزند و به افت کیفیت مدل منجر شود. روش HOPE به جای ارزیابی جداگانه هر خبرگز، الگوهای همکاری میان آنها را تحلیل میکند و خبرگانی را حفظ میکند که در عمل با یکدیگر همفعال هستند. هدف، کاهش تعداد پارامترها، مصرف حافظه و هزینه استنتاج (Inference) بدون افت محسوس دقت در وظایف زبانی است. برای توسعهدهندگان ایرانی، این روش میتواند به کاهش نیاز به پردازندههای گرافیکی (GPU) گرانقیمت و امکان اجرای مدلهای بزرگتر روی زیرساختهای محدود کمک کند. همچنین امکان بهینهسازی مدلهای ترکیبی خبرگان برای استقرار محلی (Local Deployment) و کاهش هزینه سرویسدهی ابری فراهم میشود. نتایج اولیه نشان میدهد حفظ همکاری خبرگان نسبت به هرس متعارف کیفیت بهتری در وظایف زبانی دارد. جزئیات فنی و کد مرتبط در وبلاگ Hugging Face منتشر شده است.
این مدل در اپکس۲۴ قابل دسترس است
یک کلید API — ۵۰+ مدل هوش مصنوعی




