
پژوهش IBM بر سنجش و افزایش ثبات عاملهای هوش مصنوعی
پژوهشگران IBM روشی برای شناسایی تصمیمهای ناپایدار عاملهای هوش مصنوعی و افزایش ثبات عملکرد آنها معرفی کردهاند. در آزمایش روی ۱۶۸ وظیفه AppWorld، ALTK-Evolve نرخ موفقیت در پنج اجرای متوالی را از ۵۳ به ۶۹ درصد افزایش داد.
پژوهشگران IBM در مقالهای در وبلاگ Hugging Face بررسی کردهاند که چرا موفقیت یک عامل هوش مصنوعی در یک اجرای منفرد لزوماً به معنای تکرارپذیری همان نتیجه نیست. آنها استدلال میکنند که معیارهای متداول میانگین دقت میتوانند ناپایداری عامل را پنهان کنند؛ برای نمونه، یک عامل GPT-4.1 مبتنی بر الگوی ReAct در بنچمارک AppWorld به Mean@5 برابر با ۷۷.۴ درصد رسید، اما تنها ۵۳ درصد وظایف را در هر پنج اجرای تکراری با موفقیت انجام داد. برای اندازهگیری این موضوع، پژوهشگران معیار Pass^k را پیشنهاد میکنند که درصد وظایفی را نشان میدهد که عامل در تمام k اجرای تکراری با موفقیت انجام میدهد. تفاوت میان Mean@k و Pass^k نیز بهعنوان شکاف ثبات (Consistency Gap) تعریف میشود. این معیار امکان تفکیک میان «موفقیت میانگین» و «توانایی تکرار یک نتیجه موفق» را فراهم میکند. در چارچوب متنباز ALTK-Evolve، یک تحلیلگر ثبات (Consistency Analyzer) نقاط تصمیمگیری ناپایدار را در مسیر اجرای عامل شناسایی میکند. این روش با نمونهبرداری مجدد از تصمیمهای ثبتشده، انتخابهای نزدیک به هم یا متزلزل را تشخیص میدهد و بدون نیاز به حقیقت مبنا (Ground Truth)، دسترسی به درون مدل، اجرای دوباره محیط یا تکرار کامل وظیفه، راهنماهای قابل استفاده مجدد برای عامل تولید میکند. در آزمایش روی ۱۶۸ وظیفه AppWorld، استفاده از این راهنماها Pass^5 را از ۵۳ به ۶۹ درصد و Mean@5 را از ۷۷.۴ به ۸۱ درصد رساند. در نتیجه، شکاف ثبات از ۲۴.۴ واحد درصد به ۱۲ واحد درصد کاهش یافت و بهبودهایی در وظایف مرتبط نیز مشاهده شد. برای توسعهدهندگان ایرانی، این رویکرد نشان میدهد که ارزیابی عاملهای مبتنی بر مدلهای زبانی بزرگ نباید تنها بر یک اجرای موفق یا میانگین امتیاز تمرکز کند. ثبت مسیر اجرای عامل، شناسایی نقاط تصمیمگیری ناپایدار و تبدیل تجربههای قبلی به راهنماهای قابل استفاده مجدد میتواند به طراحی سامانههایی کمک کند که عملکرد قابل پیشبینیتری در وظایف چندمرحلهای و استفاده از ابزارها داشته باشند.
این مدل در اپکس۲۴ قابل دسترس است
یک کلید API — ۵۰+ مدل هوش مصنوعی




