
مایکروسافت بنچمارک ThinkingBox را برای ارزیابی عاملها معرفی کرد
مایکروسافت و Hugging Face ابزار و بنچمارک ThinkingBox را برای ارزیابی عاملهای هوش مصنوعی در گردشکارهای حالتمند کسبوکاری منتشر کردهاند. این ارزیابی علاوه بر نتیجه یک اجرای منفرد، وضعیت نهایی پایگاه داده، آثار جانبی و میزان موفقیت در ۲۰ اجرای تکراری را بررسی میکند.
مایکروسافت و Hugging Face سامانه ارزیابی ThinkingBox و مجموعهداده ThinkingBox-Bench را برای سنجش قابلیت اطمینان عاملهای هوش مصنوعی در گردشکارهای حالتمند کسبوکاری منتشر کردهاند. این چارچوب بهجای تمرکز صرف بر متن تولیدشده یا فراخوانی موفق ابزارها، وضعیت نهایی پایگاه داده و آثار جانبی ایجادشده توسط عامل را معیار اصلی ارزیابی قرار میدهد. در این بنچمارک، ۵۰۷ گردشکار در حوزههایی مانند خردهفروشی، بیمه خودرو، سفر، بانکداری دیجیتال و مشاوره بررسی شدهاند و هر کار ۲۰ بار از یک وضعیت اولیه مستقل اجرا میشود. در یک مطالعه شامل ۱۲ مدل زبانی بزرگ و ۱۲۱٬۶۸۰ اجرای معتبر، ۷۹٬۸۵۳ اجرا در بررسیهای نهایی شکست خوردند؛ با این حال، ۶۷٫۲۴ درصد از این شکستها بدون خطای نهایی ابزار و پس از اجرای یک ابزار تغییردهنده وضعیت رخ داده بودند. بررسیها همچنین نشان داد ۷۷٫۶۱ درصد از این شکستها شامل مقادیر نادرست در فیلدها بوده و در ۴۳٫۳۰ درصد نیز آثار جانبی ناخواسته مشاهده شده است. نتایج نشان میدهد موفقیت در یک اجرا الزاماً به معنای قابلیت اتکا نیست. در معیار موفقیت تکاجرا (pass@1)، Claude Opus 5.5 با ۶۷٫۱۶ درصد بالاترین امتیاز کلی را در میان مدلهای آزمایششده داشت و Kimi-K3 با ۵۷٫۳۷ درصد بالاترین عملکرد را در میان مدلهای دارای وزن باز ثبت کرد. با این حال، در سنجش موفقیت در هر ۲۰ اجرای یک کار، تنها ۲۴۱ مورد از ۵۰۷ کار برای Claude Opus 5.5 در تمام اجراها موفق بودند؛ در مقابل، Kimi-K3 در ۴۷۶ کار دستکم یک بار موفق شد، اما تنها ۶۸ کار را در هر ۲۰ اجرا با موفقیت انجام داد. برای توسعهدهندگان ایرانی، اهمیت ThinkingBox در ارائه روشی عملی برای ارزیابی عاملهایی است که به پایگاه داده، ابزارهای سازمانی و سامانههای عملیاتی متصل میشوند. این رویکرد نشان میدهد ارزیابی یک عامل نباید فقط بر کیفیت پاسخ یا اجرای موفق ابزارها متکی باشد و بهتر است وضعیت نهایی دادهها، تغییرات ناخواسته، خطاهای قابلبازیابی و تکرارپذیری نیز در آزمونهای توسعه و پیش از استقرار بررسی شوند. ThinkingBox از طریق OpenEnv قابل اجرا است و میتواند برای آزمایش عاملهای متصل به ابزارهای مبتنی بر پروتکل MCP مورد استفاده قرار گیرد.
این مدل در اپکس۲۴ قابل دسترس است
یک کلید API — ۵۰+ مدل هوش مصنوعی




