
تنظیم دقیق مدل ۳۵۰ میلیون پارامتری با GRPO
Hugging Face یک روش تنظیم دقیق برای مدل ۳۵۰ میلیون پارامتری با استفاده از GRPO و کتابخانه TRL منتشر کرد که خروجیهای ساختاریافته را در ۱۰۰ گام بهبود میدهد. این روش نشان میدهد که مدلهای کوچک میتوانند با آموزش مبتنی بر تقویت، دقت بالایی در تولید JSON داشته باشند.
Hugging Face در تاریخ ۳ سپتامبر ۲۰۲۶ روشی برای تنظیم دقیق (fine-tuning) یک مدل ۳۵۰ میلیون پارامتری با استفاده از الگوریتم GRPO (Group Relative Policy Optimization) منتشر کرد. هدف این روش بهبود خروجیهای ساختاریافته (structured outputs) مانند JSON با تعداد گامهای محدود است. بر اساس این گزارش، با تنها ۱۰۰ گام GRPO و استفاده از کتابخانه TRL (Transformer Reinforcement Learning) و قالب IfStruct، مدل کوچک قادر به تولید خروجیهای ساختاریافته با دقت بالا میشود. این رویکرد بر خلاف روشهای متداول که به دادههای آموزشی حجیم نیاز دارند، از یادگیری تقویتی برای اصلاح رفتار مدل استفاده میکند. نتایج نشان میدهد که مدلهای کوچک میتوانند با بهرهگیری از تکنیکهای بهینهسازی مبتنی بر تقویت، در وظایف مشخص مانند تولید JSON قابل اعتماد باشند. این موضوع اهمیت ویژهای برای توسعهدهندگانی دارد که به دنبال راهکارهای کمهزینه و کارا برای استقرار مدلهای زبانی هستند. برای توسعهدهندگان ایرانی، این روش امکان استفاده از مدلهای کوچکتر با منابع محاسباتی محدود را فراهم میکند. با توجه به محدودیت دسترسی به سختافزارهای پیشرفته، بهینهسازی مدلهای ۳۵۰ میلیون پارامتری میتواند گزینهای عملی برای پروژههای محلی و اپلیکیشنهای سازمانی باشد. این انتشار نشاندهنده روند رو به رشد استفاده از یادگیری تقویتی برای بهبود قابلیتهای مدلهای زبانی کوچک است. کد و مستندات این روش در وبلاگ Hugging Face در دسترس است.
این مدل در اپکس۲۴ قابل دسترس است
یک کلید API — ۵۰+ مدل هوش مصنوعی




