
بنچمارک StateBench برای ارزیابی ردیابی تغییر وضعیت در مدلهای زبانی
آزمایشگاه AllenAI بنچمارک StateBench را برای سنجش دقت مدلهای زبانی در ردیابی تغییرات وضعیت در اسناد طولانی معرفی کرد. این بنچمارک نشان میدهد که مدلها در بهروزرسانی و حفظ وضعیتهای متغیر در متنهای بلند با چالش جدی مواجه هستند.
آزمایشگاه AllenAI بنچمارکی جدید به نام StateBench را در وبلاگ Hugging Face منتشر کرد. این بنچمارک برای ارزیابی توانایی مدلهای زبانی در ردیابی تغییرات وضعیت (state changes) در اسناد طولانی طراحی شده است. در این بنچمارک، مدلها باید اطلاعاتی را که در طول متن بهروزرسانی میشود، بهدرستی دنبال کرده و وضعیت نهایی را گزارش دهند. ردیابی وضعیت (state tracking) یکی از چالشهای اساسی در پردازش زبان طبیعی است، بهویژه زمانی که اسناد طولانی باشند و اطلاعات بهطور مکرر تغییر کنند. مدلهای زبانی معمولاً در حفظ و بهروزرسانی این وضعیتها دچار خطا میشوند و ممکن است اطلاعات قدیمی را با اطلاعات جدید اشتباه بگیرند. StateBench با ارائه مجموعهای از وظایف مشخص، این ضعف را بهصورت کمی اندازهگیری میکند. نتایج اولیه نشان میدهد که حتی مدلهای پیشرفته نیز در این زمینه عملکرد ضعیفی دارند. این یافتهها میتواند برای توسعهدهندگان و پژوهشگرانی که روی کاربردهای عملی مانند تحلیل اسناد حقوقی، خلاصهسازی طولانی و سیستمهای پرسش و پاسخ مبتنی بر متن کار میکنند، اهمیت زیادی داشته باشد. برای توسعهدهندگان ایرانی، این بنچمارک ابزاری ارزشمند برای ارزیابی دقیقتر مدلهای زبانی در پروژههای بومی است. با استفاده از StateBench، تیمها میتوانند نقاط ضعف مدلهای خود را در پردازش اسناد طولانی شناسایی کرده و راهکارهای بهتری برای بهبود دقت در کاربردهای واقعی طراحی کنند.
این مدل در اپکس۲۴ قابل دسترس است
یک کلید API — ۵۰+ مدل هوش مصنوعی




