ممیزی هوش مصنوعی چیست و چه چیزی را میسنجد؟
تفاوت ممیزی با تست نرمافزار معمولی در ماهیت خروجی است: تست کلاسیک با ورودی قطعی سروکار دارد و پاسخ درست یا غلط مشخصی دارد، اما خروجی مدل زبانی احتمالی و سیال است. به همین دلیل ممیزی بهجای «درست/غلط» از معیارهای نسبی مثل نرخ انطباق با سیاست، نرخ توافق داور و انسان، و تفاوت رفتار بین گروهها استفاده میکند. این تغییر نگاه، پیامد مهندسی مهمی دارد: بهجای یک assert در واحد تست، به یک «مجموعهآزمون» و یک «ارزیاب» نیاز دارید که بتوانند سطح قابلقبول (threshold) را بسنجند.
- دقت و کیفیت پاسخ: آیا پاسخ مستقیم، کامل و بدون توهم (hallucination) است؟
- عدالت و سوگیری: آیا رفتار مدل بین گروههای جنسیتی، زبانی یا سنی متفاوت است؟
- امنیت: آیا مدل در برابر تزریق پرامپت و دور زدن محدودیتها مقاوم است؟
- حریم خصوصی: آیا دادهٔ شخصی کاربران در پاسخها یا لاگها افشا میشود؟
- توضیحپذیری: آیا میتوان توضیح داد مدل چرا چنین خروجیای داده است؟
- استحکام (Robustness): آیا با تغییرات کوچک ورودی، کیفیت پاسخ حفظ میشود؟
- انطباق (Compliance): آیا سامانه با سیاست داخلی و مقررات صنعت سازگار است؟
- هزینه و کارایی: هزینهٔ هر پاسخ و تأخیر آن در محدودهٔ بودجه و SLA هست؟
| لایه | سؤال کلیدی | ابزار/روش نمونه | خروجی ممیزی |
|---|---|---|---|
| داده | دادهٔ آموزش/بازیابی متوازن و بدون دادهٔ شخصی است؟ | بررسی نمونهگیری، Datasheets، اسکن PII | گزارش کیفیت داده |
| مدل | مدل روی گروهها و دستههای مختلف چه رفتاری دارد؟ | Fairlearn، AIF360، Model Card | معیارهای عدالت و کارت مدل |
| خروجی | آیا پاسخهای فعلی در تولید معیارها را رد میکنند؟ | داور خودکار (LLM-as-a-Judge)، promptfoo | نمرهٔ کیفیت و فهرست خطاها |
| فرایند | آیا تغییرات، دسترسیها و حوادث مستند و کنترلشدهاند؟ | چکلیست NIST AI RMF، لاگ تغییرات | ماتریس کنترل و اقدام اصلاحی |
چرا ممیزی برای تیمهای فنی دیگر اختیاری نیست؟
نخستین انگیزه، ریاضیِ سادهٔ ریسک است: هزینهٔ پیدا کردن یک خطا در خط ممیزی داخلی، چند درخواست API و چند ساعت کار انسانی است؛ هزینهٔ همان خطا پس از رسیدن به مشتری، جبران خسارت، فرار مشتری و بحران اعتماد است. تیمهایی که ممیزی ندارند، در عمل «آزمون تولید روی مشتری» را اجرا میکنند — گرانترین محیط تست ممکن.
انگیزهٔ دوم مقررات است. قانون هوش مصنوعی اتحادیهٔ اروپا برای دستهبندی «سامانههای پرریسک» الزاماتی مثل مدیریت ریسک، گزارشدهی و نظارت انسانی تعیین کرده که از اوت ۲۰۲۶ بهطور گسترده قابلاجرا شدهاند؛ هر تیمی که محصولش به اروپا سرویس میدهد یا در زنجیرهٔ تأمین جهانی است، دیر یا زود با این الزامات روبهرو میشود. حتی خارج از این قانون، استانداردهای صنعت (مثل ممیزی امنیتی در بانکداری) صریحاً ارزیابی مستقل الگوریتمها را میطلبند. برای بازار ایران نیز مستندسازی ممیزی، مزیت رقابتی جدی در فروش سازمانی است چون مشتری B2B دربارهٔ رفتار مدل سؤال میپرسد.
چرخهٔ ممیزی چگونه گامبهگام اجرا میشود؟
ممیزی پروژهای یکباره نیست؛ یک چرخهٔ تکرارشونده است که با هر تغییر پرامپت، ارتقای نسخهٔ مدل یا تغییر دامنهٔ کسبوکار دوباره اجرا میشود. تجربهٔ تحریریه نشان میدهد تیمهایی که چرخه را به شش مرحلهٔ زیر محدود و مستند میکنند، در عمل ممیزی را ادامه میدهند و تیمهایی که از ابتدا چارچوبهای سنگین میسازند، بعد از دو اجرا رها میکنند.
- 1
دامنه و معیارها را تعریف کنید
فهرست کنید چه چیزی باید سنجیده شود (دقت، سوگیری، امنیت، حریم خصوصی، هزینه) و سطح قابلقبول هر معیار را بنویسید؛ مثلاً «نرخ نشت دادهٔ شخصی صفر» و «نرخ انطباق با سیاست بالای ۹۵٪».
- 2
مجموعهآزمون بسازید
از لاگهای واقعی ۱۰۰ تا ۳۰۰ نمونهٔ متنوع انتخاب و نسخهبندی کنید؛ ردههای سخت (متن آمیختهٔ زبان فارسی/انگلیسی، سؤالهای مرزی، ورودیهای حاوی دادهٔ شخصی مصنوعی) را حتماً بپوشانید.
- 3
ارزیابی خودکار را اجرا کنید
نمونهها را با ابزار مناسب (Fairlearn برای عدالت مدل کلاسیک، promptfoo یا داور خودکار API برای LLM) ارزیابی و متریکها را ثبت کنید.
- 4
بازبینی انسانی نمونهای انجام دهید
حداقل ۱۰ تا ۲۰ درصد نمونهها (و همهٔ موارد مرزی و نمرات پایین) را انسانی بازبینی کنید تا دقت خود داور هم سنجیده شود؛ درصد توافق داور با انسان را گزارش کنید.
- 5
گزارش و اولویتبندی ریسکها
یافتهها را با شدت (بحرانی/مهم/عادی)، شواهد و اقدام پیشنهادی در گزارش ممیزی ثبت کنید؛ گزارش باید برای مدیر غیرفنی هم قابلفهم باشد.
- 6
اصلاح و پایش مستمر
اقدامات اصلاحی (تغییر پرامپت، فیلتر ورودی، انتخاب مدل دیگر) را اجرا، مجموعهآزمون را دوباره اجرا و متریکهای کلیدی را به داشبورد پایش اضافه کنید؛ چرخه از مرحلهٔ ۳ ادامه مییابد.
برای ممیزی مدلهای کلاسیک ML از کدام ابزارهای متنباز استفاده کنیم؟
اگر محصول شما مدل کلاسیک (درخت تصمیم، گرادیان بوستینگ، رگرسیون) دارد، بخش بزرگی از ممیزی با چند کتابخانهٔ پایتونی تثبیتشده انجام میشود؛ این ابزارها سالها در تولید استفاده شدهاند، مستندات رسمی دارند و خروجیشان مستقیماً در گزارش ممیزی قابلارجاع است. انتخاب بین آنها سلیقهای نیست: Fairlearn برای ادغام با scikit-learn و شروع سریع، AIF360 برای تنوع کامل معیارها و الگوریتمهای کاهش سوگیری، و SHAP/LIME برای پاسخ به سؤال «چرا؟» بهکار میروند.
| ابزار | تمرکز | خروجی نمونه | مناسب برای |
|---|---|---|---|
| Fairlearn (fairlearn.org) | سنجش و کاهش نابرابری با MetricFrame | نرخ انتخاب هر گروه + تفاوت | شروع سریع و ادغام با scikit-learn |
| AI Fairness 360 (IBM/LF AI) | دهها معیار عدالت + الگوریتمهای کاهش سوگیری | گزارش کامل معیارها و مدل اصلاحشده | ممیزیهای رسمی و آکادمیک |
| SHAP | توضیحپذیری مبتنی بر نظریهٔ بازی | سهم هر ویژگی در هر پیشبینی | پاسخ به «چرا این تصمیم؟» |
| LIME | تقریب محلی مستقل از مدل | وزن ویژگیها اطراف یک نمونه | توضیح نمونهبهنمونه روی هر مدل |
| Aequitas (U. Chicago) | اعتبارسنجی بیاس سیاستگذاری | ماتریس عدالت گروهی | تحلیل سیاستی تصمیمهای حمایتی |
ممیزی مدلهای زبانی چه تفاوتی با ممیزی ML کلاسیک دارد؟
در LLM جعبهٔ سیاه حتی سیاهتر است: مدل هیچ ویژگی عددیای ندارد که SHAP رویش حساب کند، خروجی متن آزاد است و «جواب درست» اغلب نداریم. بنابراین ابزارها جابهجا میشوند: بهجای معیارهای آماری روی ویژگیها، به سه خانوادهٔ ابزار نیاز دارید — ارزیابی رگرسیونی پرامپتها (مجموعهآزمون ثابت پس از هر تغییر)، قضاوت خودکار پاسخها در مقیاس، و قرمزتیمینگ امنیتی برای کشف رفتار ناامن. OWASP در فهرست «Top 10 برای LLM» ریسکهایی مثل تزریق پرامپت، افشای اطلاعات حساس، مدیریت نادرست خروجی، اختیارات افراطی و مصرف بیمرز را رسمیت بخشیده و چکلیست خوبی برای دامنهٔ ممیزی فراهم کرده است.
- تزریق پرامپت (Prompt Injection): ورودی کاربر دستورهای سیستم را دور میزند — تست با پرامپتهای حملهٔ ثابت و مولد.
- افشای اطلاعات حساس: مدل دادهٔ شخصی یا راز تجاری را در پاسخ لو میدهد — تست با دادهٔ قلابی علامتگذاریشده.
- مدیریت نادرست خروجی: خروجی مدل بدون پاکسازی به SQL/shell/HTML تزریق میشود — ممیزی زنجیرهٔ پس از مدل لازم است.
- اختیارات افراطی (Excessive Agency): مدل اجازهٔ انجام عملهای حذف/پرداخت دارد که نباید — ممیزی فهرست ابزارهای متصل.
- مصرف بیمرز (Unbounded Consumption): حلقهٔ ارزانِ درخواست، اعتبار شما را میسوزاند — ممیزی rate limit و بودجه.
- توهم و بیثباتی: همان سؤال، پاسخهای متضاد در اجراهای مختلف — سنجش نرخ توافق با temperature ثابت.
| ابزار | خانواده | چه میکند | مناسب برای |
|---|---|---|---|
| promptfoo | ارزیابی | اجرای مجموعهآزمون روی چند پرامپت/مدل با ASSERTهای خودکار | رگرسیون پرامپت پیش از هر انتشار |
| DeepEval | ارزیابی | متریکهای آمادهٔ کیفیت (مرتبطبودن، بیتوهمی) به سبک pytest | تیمهای پایتونی با CI |
| Giskard | ارزیابی + اسکن | اسکن خودکار مدل برای یافتن ضعفها و ساخت مجموعهآزمون | پوشش گسترده با حداقل تنظیم |
| PyRIT (مایکروسافت) | قرمزتیمینگ | اتوماسیون حملههای چندمرحلهای با شبهداده و ارزیاب | آزمون امنیتی سامانههای مولد |
| garak (NVIDIA) | قرمزتیمینگ | اجرای پروبهای حملهٔ استاندارد و گزارش آسیبپذیری | اسکن تکرارپذیر قبل از انتشار |
چطور با API آپکس۲۴ یک داور خودکار (LLM-as-a-Judge) بسازیم؟
ایدهٔ عملیاتی ساده است: پاسخ مدلِ زیرِ ممیزی را همراه یک rubric (فهرست معیارها) به مدل داور میدهیم و از آن میخواهیم فقط یک شیء JSON شامل نمرات برگرداند. سه اصل مهندسی این خط را قابلاعتماد میکند: اول، temperature=0 تا قضاوت تکرارپذیر باشد؛ دوم، تحمیل خروجی JSON با دستور صریح و استخراج مقاوم (پیدا کردن اولین و آخرین آکولاد) تا پاسخهای متنی خط مارا نشکنند؛ سوم، ثبت usage هر فراخوانی تا هزینهٔ ممیزی قابلمحاسبه و کنترل باشد. کد زیر برای API سازگار با OpenAI نسخهٔ v1 در APX24 نوشته شده است.
کدام مدل APX24 برای وظایف ممیزی مناسب است؟
برای خط داوری، سه ویژگی مهم است: پیروی دقیق از rubric، پایداری خروجی JSON و قیمت توکن چون تعداد فراخوانیها زیاد است. بر اساس تجربهٔ تحریریه، مدلهای اقتصادی برای غربالگری انبوه کاملاً کافیاند و مدلهای سطح بالا فقط برای نمونههای مرزی، بازنویسی گزارش و قضاوتهای ظریف ارزش هزینه دارند؛ راهبرد «دوطبقه» (غربالگری ارزان + ارجاع گران) معمولاً هزینهٔ ممیزی را چند برابر کم میکند.
خطاهای رایج خط ممیزی کداماند و چطور رفعشان کنیم؟
اولین اجرای انبوه خط داوری معمولاً با یکی از دو سناریو ناتمام میماند: یا در میانهٔ دسته، سرور با ۴۲۹ جواب میدهد چون درخواستها را پشتسرهم فرستادهاید، یا چند پاسخ داور JSON معتبر برنمیگردانند و اسکریپت در نیمهٔ شب میمیرد. هر دو مشکل «طبیعی» هستند و راهحل استاندارد دارند؛ مهم این است که خط داوری از ابتدا با این فرض ساخته شود که «بعضی فراخوانیها شکست میخورند و باید بیصدا تکرار یا ثبت شوند».
چکلیست عملی ممیزی چیست و دو مثال حلشده چطور اجرا میشوند؟
- دامنه و معیارهای کمی ممیزی مکتوب و مورد تأیید ذینفعان است.
- مجموعهآزمون نسخهبندیشده (حداقل ۱۰۰ نمونهٔ واقعی) وجود دارد و ردههای سخت را میپوشاند.
- برای هر معیار، ارزیاب مشخص است: ابزار آماری، داور خودکار یا انسان.
- معیارهای عدالت (نرخ انتخاب گروهها) برای تصمیمهای حساس محاسبه و ثبت شده است.
- قرمزتیمینگ (PyRIT/garak) روی پرامپتهای حملهٔ استاندارد اجرا شده است.
- تست نشت داده فقط با دادهٔ مصنوعی علامتگذاریشده انجام شده است.
- متریک توافق داور-انسان محاسبه شده و بالای حد تعریفشده است.
- یافتهها با شدت ریسک، شواهد و مسئول اصلاح در گزارش ثبت شدهاند.
- کد، کلید API و لاگ ممیزی در مخزن امن نگهداری میشود (بدون کلید سختنویسیشده).
- تقویم ممیزی بعدی (ترکیب هر-انتشار + هر-فصل) در تقویم تیم ثبت شده است.
نقشهٔ راه ۳۰ روزهٔ شروع ممیزی چگونه است؟
- 1
هفتهٔ ۱ — دامنه و مجموعهآزمون
معیارهای کمی را مکتوب کنید، کلید API بسازید، ۱۰۰ نمونهٔ واقعی از لاگ بگیرید و ردههای پرریسک را علامت بزنید.
- 2
هفتهٔ ۲ — خط داوری خودکار
اسکریپت audit_judge بخش ششم را با مدل اقتصادی اجرا کنید، ذخیرهٔ نتایج و retry را اضافه کنید و متریک توافق با ۲۰ بازبینی انسانی را بسنجید.
- 3
هفتهٔ ۳ — امنیت و عدالت
garak یا PyRIT را روی endpoint تستی اجرا کنید، تست نشت داده با دادهٔ مصنوعی بگذارید و اگر تصمیم حساس دارید، معیارهای گروهی را با Fairlearn حساب کنید.
- 4
هفتهٔ ۴ — گزارش، کاسکاد و پایش
گزارش ممیزی اول را با یافتههای اولویتبندیشده منتشر کنید، راهبرد دوطبقهٔ مدلها را مستند کنید و متریکهای کلیدی (نرخ توهم، نرخ نشت، هزینهٔ هر قضاوت) را به داشبورد پایش اضافه کنید.
بعد از این ۳۰ روز، ممیزی از یک «پروژه» به یک قابلیت محصول تبدیل شده است: هر تغییر پرامپت یا نسخه، خودکار ارزیابی میشود و تیم بهجای حدس زدن، با عدد تصمیم میگیرد. از این نقطه، مسیرهای عمیقتر باز میشود: اضافهکردن داور جفتی برای رتبهبندی نسخهها، اتصال ممیزی به CI/CD تا هر merge مجموعهآزمون را اجرا کند، و گزارشدهی برای مشتریان سازمانی.




