
همکاری AISI و EvalEval برای بازتولیدپذیری ارزیابیها
مؤسسه امنیت هوش مصنوعی بریتانیا (AISI) برای انتشار ساختاریافته و قابل بررسی نتایج ارزیابی مدلهای پیشرو از زیرساخت EvalEval استفاده میکند. این دادهها اطلاعات مربوط به روش، پیکربندی و نتایج پنج بنچمارک را در قالب استاندارد Every Eval Ever ارائه میکنند تا بازتولید و مقایسه ارزیابیها آسانتر شود.
مؤسسه امنیت هوش مصنوعی بریتانیا (AI Security Institute یا AISI) اعلام کرده است که برای انتشار عمومی نتایج ارزیابیهای خود از زیرساخت ائتلاف EvalEval استفاده میکند. هدف این همکاری، افزایش بازتولیدپذیری و قابلیت راستیآزمایی پژوهشهای ارزیابی هوش مصنوعی است؛ حوزهای که نتایج آن اغلب در قالبها و بسترهای متفاوت منتشر میشوند و اطلاعات کافی درباره شرایط اجرای آزمون در اختیار پژوهشگران قرار نمیگیرد. EvalEval از طرحواره استاندارد «Every Eval Ever» یا EEE و سامانه «کارتهای ارزیابی» (Evaluation Cards) برای ثبت نتایج، فراداده بنچمارک، اطلاعات اجرای ارزیابی و مشخصات مدل استفاده میکند. این ساختار امکان میدهد نتایجی که در ظاهر قابل مقایسه هستند، با توجه به تفاوت در روش اجرا، تنظیمات و پروتکل ارزیابی بررسی شوند. در مرحله جدید این همکاری، AISI نتایج تأییدشده و اطلاعات مربوط به روش و پیکربندی پنج بنچمارک شامل HealthBench، FrontierMath، Humanity's Last Exam، SWE-Bench Pro و Terminal-Bench 2.0 را منتشر کرده است. این مجموعه نتایج شش مدل پیشرو شامل Claude Opus 4، Claude Opus 4.5، Claude Opus 4.6، GPT-5، GPT-5.2 و GPT-5.4 را پوشش میدهد و دادههای دو ارزیابی مرتبط با امنیت سایبری نیز در انتشار قرار گرفتهاند. برای توسعهدهندگان ایرانی، این رویکرد اهمیت دارد زیرا مقایسه عملکرد مدلها تنها بر اساس یک امتیاز نهایی میتواند گمراهکننده باشد. دسترسی به اطلاعات روش اجرا، پیکربندی و شرایط ارزیابی به پژوهشگران و تیمهای فنی ایرانی کمک میکند هنگام انتخاب مدل یا ارزیابی سامانههای هوش مصنوعی، نتایج بنچمارک را با دقت بیشتری تفسیر و در صورت امکان بازتولید کنند.
این مدل در اپکس۲۴ قابل دسترس است
یک کلید API — ۵۰+ مدل هوش مصنوعی




