ممیزی هوش مصنوعی چیست و چه تفاوتی با تست امنیت دارد؟
ممیزی هوش مصنوعی چهار بُعد دارد و هر بُعد خروجی و ابزار خودش را میخواهد. بُعد اول دقت و عملکرد است: آیا مدل وظیفهٔ اصلی را با کیفیت قابلقبول انجام میدهد؟ بُعد دوم امنیت است: آیا سیستم در برابر prompt injection، افشای داده و سوءاستفاده مقاوم است؟ بُعد سوم انطباق است: آیا الزامات قانونی و تعهدات قراردادی رعایت میشود؟ بُعد چهارم شفافیت است: آیا میتوان توضیح داد که کدام نسخه، کدام پیکربندی و کدام داده در تولید هر خروجی نقش داشته است؟ چارچوب این مقاله هر چهار بُعد را پوشش میدهد، اما تمرکز اصلی روی بخش مهندسیشدهٔ آن است — یعنی آزمونهای قابلاجرا و شواهد قابلبازرسی.
- دقت و عملکرد: مجموعهآزمون وظیفهمحور + معیار پذیرش (مثلاً نرخ قبولی حداقل ۹۵٪) — خروجی: گزارش ارزیابی.
- امنیت: سناریوهای prompt injection و افشای داده + تیم قرمز (Red Teaming) — خروجی: فهرست یافتهها با شدت.
- انطباق: نگاشت الزامات EU AI Act / ISO 42001 / سیاست داخلی به چکلیست — خروجی: جدول انطباق با حکم هر آیتم.
- شفافیت: کارت مدل (Model Card)، خط داده (Data Lineage) و ردیابی نسخهٔ مدل و پیکربندی — خروجی: پوشهٔ مستندات.
تفاوت با تست امنیتی مهم است و اغلب منجر به پوشش ناقص میشود. تست نفوذ (Penetration Test) معمولاً زیرمجموعهٔ فاز آزمون فنی در بُعد امنیت است و با پایان پروژه تمام میشود؛ ممیزی اما علاوه بر آزمون، سه چیز دیگر میخواهد: معیار مشخص (دقیقاً چه چیزی «قبول» است)، شواهد بایگانیشده (پاسخ مدل، شناسهٔ پاسخ، مصرف توکن، تاریخ) و حکم صادرهشده توسط مالک ریسک. به همین دلیل ممکن است سیستمی پنتست تمیز داشته باشد ولی در ممیزی نامنطبق گزارش شود — چون هیچ معیاری، هیچ شاهدی و هیچ پاسخگویی مشخصی برای رفتار مدل وجود ندارد.
چرا ممیزی AI دیگر اختیاری نیست؟
سه نیرو همزمان ممیزی هوش مصنوعی را از حوزهٔ «بهترین تجربهها» به حوزهٔ «الزام» منتقل کردهاند. نیروی اول قانونی است: قانون هوش مصنوعی اروپا (EU AI Act) که از اوت ۲۰۲۴ لازمالاجرا شده، تعهدات مشخصی برای کاربران حرفهای سیستمهای AI (نقش deployer) وضع کرده و اکثر الزامات آن از ۲ اوت ۲۰۲۶ فعال میشود. نیروی دوم استانداردی است: ISO/IEC 42001 برای سیستم مدیریت هوش مصنوعی منتشر شده و در مناقصهها و گواهینامههای سازمانی به مرجع تبدیل میشود. نیروی سوم داخلی است: تصویب سند ملی هوش مصنوعی در ایران (۱۴۰۳) نشان میدهد چارچوبهای حکمرانی و سپس الزامات اجرایی در مسیر شکلگیریاند و مشتریان سازمانی و فینتکها خودشان از پیمانکارها درخواست شواهد انطباق میکنند.
کدام چارچوب مرجع را مبنا قرار دهیم؟
| چارچوب | نوع | تمرکز اصلی | بهترین کاربرد در این مقاله |
|---|---|---|---|
| NIST AI RMF 1.0 | چارچوب داوطلبانه (آمریکا) | مدیریت ریسک در چهار تابع GOVERN/MAP/MEASURE/MANAGE | طراحی عملیاتی فازها و معیارهای آزمون |
| ISO/IEC 42001:2023 | استاندارد قابلگواهینامه | سیستم مدیریت هوش مصنوعی (AIMS) در سطح سازمان | ساختار برنامهٔ حکمرانی، مالکیت و بازنگری |
| ISO/IEC 23894:2023 | استاندارد راهنما | مدیریت ریسک مخصوص AI | منهولوژی شناسایی و رتبهبندی ریسک (فاز ۲) |
| EU AI Act (2024/1689) | قانون الزامآور (اروپا) | تعهدات ارائهدهنده و deployer بر اساس طبقهٔ ریسک | لیست الزامات قانونی و مدت نگهداری لاگ |
| OWASP Top 10 for LLM Applications (2025) | چکلیست تخصصی جامعهٔ امنیت | ۱۰ ریسک رایج اپهای LLM مثل prompt injection | سرفصل سناریوهای آزمون فنی (فاز ۳) |
پیشنهاد تحریریه (بر اساس تجربهٔ تحریریه و ساختار این چارچوبها): این پنج مرجع جایگزین هم نیستند، بلکه لایههای مختلف یک ساختماناند. EU AI Act را بهعنوان فهرست الزامات قانونی بگذارید — چیزی که حتماً باید پوشش داده شود. NIST AI RMF را بهعنوان زبان عملیاتی مهندسی بگیرید، چون توابعش دقیقاً به فازهای اجرایی نگاشت میشوند. ISO/IEC 42001 را وقتی فعال کنید که بخواهید برنامهٔ ممیزی را به یک سیستم مدیریت سازمانی با نقشها، بازنگری دورهای و امکان گواهینامه تبدیل کنید. ISO/IEC 23894 منهولوژی ریسک را محکم میکند و OWASP LLM Top 10 چکلیست آمادهٔ آزمونهای فنی به شما میدهد. برای تیمهای کوچک، ترکیب NIST + OWASP با در نظر گرفتن الزامات قانونی مربوطه نقطهٔ شروع سبکوزن و کافی است.
معماری چارچوب اجرا: چرخهٔ پنجفازی ممیزی
چارچوب اجرا عمداً به شکل چرخه طراحی شده، نه پروژه. هر فاز یک خروجی مشخص دارد که ورودی فاز بعدی است و پایان چرخه، شروع چرخهٔ بعدی را تغذیه میکند: یافتههای پایش، مجموعهآزمون و دفتر ریسک را بهروز میکند. این ساختار دقیقاً همان چیزی است که ISO/IEC 42001 از یک سیستم مدیریت انتظار دارد (چرخهٔ برنامهریزی، اجرا، بررسی، اقدام) و با توابع NIST هم سازگار است. اگر فقط یک چرخهٔ کامل را اجرا کنید، ممیزیِ نقطهای دارید؛ اگر چرخه را تکرار کنید، برنامهٔ ممیزی دارید.
- 1
فاز ۱ — دامنهگذاری و موجودیسازی
فهرست کامل سیستمهای AI با مالک، مدل، داده و کاربران؛ تعیین دامنهٔ ممیزی این چرخه.
- 2
فاز ۲ — ارزیابی ریسک
رتبهبندی هر سیستم با ماتریس احتمال×شدت و ساخت دفتر ریسک (Risk Register) با مالک برای هر ریسک.
- 3
فاز ۳ — آزمونهای فنی
اجرای مجموعهآزمون مرزی (سیاست، امنیت، کیفیت) از طریق API با temperature صفر و ثبت نرخ قبولی.
- 4
فاز ۴ — مستندسازی شواهد
بایگانی کارت مدل، گزارش آزمون، لاگها و حکم انطباق در پوشهٔ شواهد با تاریخ و نسخه.
- 5
فاز ۵ — پایش مستمر
اجراهای دورهای (هفتگی/ماهانه)، پایش سیگنالهای انحراف و بهروزرسانی چارچوب بر اساس یافتهها.
زمانبندی واقعبینانه (برآورد تجربی تحریریه، نه عدد استاندارد): برای تیمهای ۳ تا ۱۰ نفره با یک محصول مبتنی بر LLM، چرخهٔ کامل اول معمولاً بین چهار تا شش هفته طول میکشد — فازهای ۱ و ۲ حدود یک هفته، ساخت مجموعهآزمون و اجرای فاز ۳ دو هفته، مستندسازی یک هفته، و راهاندازی پایش باقی زمان. چرخههای بعدی چون شواهد، سناریوها و ابزار از قبل وجود دارند، به چند روز کاری کاهش مییابند. اگر بودجهٔ زمانی ندارید، نسخهٔ حداقلی را اجرا کنید: موجودیسازی + ۲۰ سناریوی مرزی + گزارش یکصفحهای؛ بهتر از هیچ است و چرخهٔ بعدی روی آن سوار میشود.
فاز ۱ و ۲: از موجودیسازی سیستمها تا دفتر ریسک
نمیتوانید چیزی را ممیزی کنید که وجودش را نمیدانید. تجربهٔ ثابت است: اولین فاز ممیزی تقریباً همیشه سیستمهای بیشتری پیدا میکند از آنچه CTO فهرست کرده بود — یک دستیار داخلی که تیم پشتیبانی بدون فرایند رسمی ساخته، یک افزونهٔ خلاصهسازی در اسلک، یا یک جریان ETL که از LLM برای طبقهبندی تیکت استفاده میکند. موجودی AI (AI Inventory) باید حداقل این فیلدها را برای هر سیستم داشته باشد: نام و شرح، مالک کسبوکاری، مالک فنی، مدل و ارائهدهنده، نوع دادهٔ پردازشی، دامنهٔ کاربران، سطح خودکارسازی تصمیم و وضعیت پایش. همین فایل ساده، مبنای همهٔ گزارشهای بعدی است.
فاز ۲ همین فهرست را رتبهبندی میکند. برای هر سیستم دو محور را مستقل امتیازدهی کنید: احتمال وقوع رویداد ناخواسته (چقدر این سیستم در معرض ورودی مخرب، خطای مدل یا سوءاستفاده قرار دارد؟) و شدت اثر (اگر اتفاق بیفتد چه ضرری میزند — مالی، حقوقی، اعتباری، ایمنی؟). حاصلضرب این دو، سطح ریسک میشود. مهمتر از خود امتیاز، مکتوببودن تعریف معیارهاست: اگر دو نفر از تیم، همان سیستم را امتیاز متفاوت بدهند، مشکل از تعریف است نه از ممیز.
| احتمال \ شدت | شدت کم | شدت متوسط | شدت زیاد |
|---|---|---|---|
| احتمال زیاد | نیازمند کاهش | بحرانی | بحرانی |
| احتمال متوسط | قابلقبول | نیازمند کاهش | بحرانی |
| احتمال کم | قابلقبول | قابلقبول | نیازمند کاهش |
- چه دادهای وارد مدل میشود و بعد از ارسال چه سرنوشتی دارد؟ (خط داده و نگهداری)
- بدترین خروجی ممکن چه ضرری میزند و به چه کسی؟ (سناریوی اثر)
- انسان کجای حلقهٔ تصمیم است و کجا حذف شده است؟ (نظارت انسانی)
- لاگ ورودی/خروجی/نسخهٔ مدل/شناسهٔ پاسخ کجا و چقدر نگه داشته میشود؟ (قابلیت بازرسی)
- برنامهٔ واکنش به حادثه چه کسی را صدا میزند و چقدر سریع؟ (پاسخگویی)
فاز ۳: آزمونهای فنی را چطور با API اجرا کنیم؟
آزمون فنی ممیزی سه لایه دارد: آزمون انطباق سیاست (آیا مدل درخواستهای نقضکنندهٔ سیاست را رد میکند؟)، آزمون مقاومت (آیا در برابر prompt injection و تلاش برای استخراج دستورالعمل سیستم میایستد؟) و آزمون کیفیت (آیا روی وظیفهٔ اصلی، خروجی قابلقبول تولید میکند؟). برای هر لایه، مجموعهای از سناریوهای مرزی با پاسخ مورد انتظار میسازید — برای شروع ۲۰ تا ۱۰۰ سناریو کافی است — و همانها را برنامهنویسیشده و تکرارپذیر اجرا میکنید. نکتهٔ کلیدی: پارامتر temperature را صفر بگذارید تا خروجی تا حد امکان بازتولیدپذیر بماند؛ ممیزی که تکرارش جواب متفاوت بدهد، شواهد نیست.
فاز ۴: مستندسازی و شواهد ممیزی
قانون طلایی ممیزی: چیزی که ثبت نشده، اتفاق نیفتاده است. یک آزمون موفق که شناسهٔ پاسخ، تاریخ، نسخهٔ پیکربندی و مصرف توکنش ذخیره نشده باشد، در جلسهٔ بازبینی بیارزش است. پوشهٔ شواهد (Evidence Folder) سه قلم اصلی دارد: مستندات نظام (کارت مدل، سیاستها، پیکربندی)، مستندات اجرا (گزارشهای آزمون با تاریخ و نتیجه) و لاگهای عملیات (نمونههای واقعی مکالمه با نگهداری تعهدشده). ساختار این پوشه را از روز اول تعریف کنید تا فاز ۵ هم روی همان الگو بایگانی کند.
- کارت مدل (وظیفه، محدودیت، نتایج ارزیابی، نسخهٔ تأییدشده)
- گزارش مجموعهآزمون فاز ۳ (تاریخ، نرخ قبولی، شناسهٔ پاسخها)
- لاگ نمونهٔ مکالمات واقعی با ماسک PII و مدت نگهداری تعهدشده
- دفتر ریسک بهروزشده با مالک و وضعیت هر ریسک
- صورتجلسهٔ بازبینی انسانی با تصمیم روی آیتمهای پرچمدار
- سند پیکربندی ممیزی (مدل، temperature، نسخهٔ مجموعهآزمون)
فاز ۵: پایش مستمر و ممیزی خودکار
مدل پشت API مثل وابستگیهای نرمافزاری بیصدا تغییر میکند: ارائهدهنده نسخهها را بهروز میکند، رفتار مدل روی سناریوهای مرزی جابهجا میشود و دادهٔ واقعی کاربران هم با بازار تغییر میکند (مثلاً موج جدید کلاهبرداری، الگوهای تازهٔ درخواستهای مخرب). نتیجه: نتایج ممیزیِ سه ماه قبل، امروز ارزش اثباتی ندارند. راهحل، همان چیزی است که در CI/CD برای کد انجام میدهید — اجرای دورهای خودکار، مقایسه با آستانه و هشدار به مالک. فاز ۵ یعنی تبدیل هارنس فاز ۳ به یک شغل زمانبندیشده که شواهد را بایگانی و انحراف را گزارش میکند.
انتخاب مدل اپکس۲۴ برای ممیزی خودکار و هزینهٔ واقعی آن
ممیزی خودکار دو نقش متفاوت میخواهد و اشتباهگرفتن نقش، هزینه را چند برابر میکند. نقش اول غربالگری انبوه است: ارزیابی صدها یا هزاران نمونهٔ لاگ با یک سؤال کوتاه و خروجی JSON کوچک — اینجا سرعت و قیمت ورودی تعیینکننده است. نقش دوم تحلیل عمیق است: بازبینی چکلیست انطباق، تحلیل اسناد بلند و قضاوتهای ظریف که استدلال چندمرحلهای میخواهد — اینجا کیفیت استدلال و پنجرهٔ زمینه مهم است. تحلیل زیر بر اساس قیمت عمومی اپکس۲۴ و ویژگیهای شناختهشدهٔ خانوادههای مدل است (بر اساس تجربهٔ تحریریه) و برای هر بار انتخاب، قیمت روز را در apx24.ir/pricing چک کنید.
خطاهای رایج و باورهای غلط در اجرای ممیزی
- مجموعهآزمون فقط سناریوهای خوشبینانه دارد و ورودی مرزی و حمله ندارد.
- معیار قبولی مبهم است («خوب جواب بدهد») و دو ممیز دو نتیجه میگیرند.
- شواهد در چت شخصی و بدون شناسهٔ پاسخ ذخیره میشود — قابلبازرسی نیست.
- پایش راهاندازی شده اما آستانه و مالک مشخص ندارد؛ هشدارها بیپاسخ میمانند.
- لاگها بدون ماسک PII انبار میشوند و خودِ فرایند ممیزی ریسک حریم خصوصی میسازد.
مسیر بعدی: از چکلیست تا برنامهٔ حکمرانی AI
این مقاله ستون فقرات عملیاتی ممیزی را داد: پنج فاز، خروجی مشخص هر فاز و کد قابلاجرا. اما چرخهٔ ممیزی روی بستر سازمانی مینشیند: سیاستها باید نوشته و تصویب شوند، نقشها تعریف شوند و پایش با فرایندهای حوادث گره بخورد. مسیر پیشنهادی این است که بعد از اجرای اولین چرخه، هر فاز را به یک مقالهٔ تخصصی عمیقتر وصل کنید — خوشهٔ حکمرانی و ممیزی اپکس۲۴ دقیقاً برای همین چیده شده است.
- «شروع کار با API اپکس۲۴» — اگر هنوز اولین درخواست را نزدهاید، از اینجا شروع کنید (api-getting-started).
- «معیارهای ارزیابی مدلهای زبانی» — برای طراحی مجموعهآزمون کیفی و معیارهای پذیرش (llm-evaluation-metrics).
- «دفاع در برابر prompt injection» — برای لایهٔ دفاعی اپلیکیشن و سناریوهای حملهٔ پیشرفتهتر (prompt-injection-defense).
- «فهرست OWASP ده ریسک برتر اپهای LLM» — برای پر کردن لایهٔ امنیتی فاز ۳ (owasp-llm-top10).
- «مدیریت نرخ درخواست و خطاهای API» — برای پایدارسازی شغلهای زمانبندیشدهٔ ممیزی (api-rate-limiting).
- «بهینهسازی هزینهٔ مصرف LLM» — برای توسعهٔ غربال دومرحلهای و کنترل هزینهٔ پایش (cost-optimization-llm).
- «حکمرانی AI در سازمان» — برای تبدیل چرخهٔ ممیزی به برنامهٔ رسمی با نقشها و سیاستها (ai-governance-basics).
یک یادآوری پایانی دربارهٔ وسعت کار: ممیزی کامل سازمانی شاخههای بیشتری دارد (ممیزی داده و خط داده، ممیزی مودلهای سفارشی، ممیزی تخصیص منابع) که هرکدام مقالهٔ خودشان را میخواهند. اگر بعد از اولین چرخه احساس کردید فاز ۳ بیشتر از بقیه به کارتان آمد — که برای اکثر تیمهای نرمافزاری همین است — مسیر طبیعی شما ارزیابی مدلها و دفاع در برابر prompt injection است. چارچوب را زنده نگه دارید: هر یافتهٔ جدید، یک سناریوی جدید در مجموعهآزمون است.





