
روش جدید برای راستیآزمایی منبع در عاملهای MCP
ProvenanceGuard برای تشخیص ادعاهایی طراحی شده است که اگرچه در دادههای ابزارهای مختلف پشتیبانی میشوند، به منبع اشتباه نسبت داده شدهاند. این روش در یک ارزیابی پزشکی، ۱۳۸ مورد از ۱۳۹ ادعای مردود را شناسایی کرد و در انتخاب منبع صحیح برای ادعاهای دارای منبع مشخص، حدود ۸۶ درصد دقت داشت.
عاملهای هوش مصنوعی مبتنی بر پروتکل زمینه مدل (Model Context Protocol یا MCP) میتوانند همزمان از ابزارهای جستوجو، پایگاههای داده و سوابق ساختاریافته استفاده کنند و اطلاعات حاصل را در یک پاسخ ترکیب کنند. پژوهشگران Multiverse Computing در مقالهای با عنوان ProvenanceGuard: Source-Aware Factuality Verification for MCP-Based LLM Agents به مسئلهای فراتر از صحت خودِ واقعیت پرداختهاند: اینکه هر ادعا به منبع درست نسبت داده شده باشد. citeturn0view0 این مسئله که «درهمآمیختگی میان منابع» (cross-source conflation) نامیده شده، زمانی رخ میدهد که یک ادعا در یکی از خروجیهای ابزار وجود داشته باشد اما پاسخ نهایی آن را به منبع دیگری نسبت دهد. روشهای رایج ارزیابی وفاداری، مانند RAGAS، MiniCheck، AlignScore و SummaC، معمولاً شواهد را بهصورت تجمیعی بررسی میکنند و لزوماً مشخص نمیکنند کدام خروجی ابزار از هر ادعا پشتیبانی کرده است. ProvenanceGuard شناسه منبع را در تمام مراحل نگه میدارد و برای هر ادعا، منبع پشتیبان و میزان تطابق آن با منبع اعلامشده را ارزیابی میکند. citeturn0view0 در طراحی این سامانه، پاسخ به ادعاهای مشخص تفکیک میشود، مناسبترین منبع برای هر ادعا تعیین میشود و سپس یک مدل استنتاج متنی (Natural Language Inference یا NLI) بررسی میکند که آیا منبع واقعاً از ادعا پشتیبانی میکند یا خیر. مقادیر دقیق مانند اعداد، تاریخها و شناسهها نیز باید در منبع وجود داشته باشند. اگر پاسخ تأیید نشود، یک فرایند بازنویسی مبتنی بر منبع میتواند آن را اصلاح کند یا به متن جایگزین ایمن تبدیل کند. آزمایش گزارششده با مدلهای محلی انجام شده و هزینه پردازش آن در پیکربندی آزمایشی حدود نیم ثانیه برای هر پاسخ بوده است. citeturn0view0 در ارزیابی اصلی، پژوهشگران ۳۶۱ ادعا از ۴۰ پاسخ را با داوری انسانی بررسی کردند. کارشناسان ۱۳۹ ادعا را نامعتبر برای عبور از فیلتر تشخیص دادند و ProvenanceGuard توانست ۱۳۸ مورد را شناسایی کند؛ در عین حال، ۶۷ ادعای مورد تأیید کارشناسان نیز برای بررسی یا اصلاح بیشتر متوقف شدند. این روش در آزمایشی با منابع مشابه، در تصمیمگیری برای مسدودکردن ادعاها امتیاز F1 برابر با ۰٫۸۴۶ گرفت، اما تشخیص دقیق منبع در همان آزمایش تنها در ۵۰٫۳ درصد موارد موفق بود. citeturn0view0 برای توسعهدهندگان ایرانی که عاملهای چندابزاری و سامانههای مبتنی بر MCP میسازند، این رویکرد اهمیت عملی دارد، زیرا صرفاً بررسی درستبودن یک ادعا کافی نیست و باید منشأ دقیق داده نیز قابل ردیابی باشد. حفظ شناسه منابع در لاگ ابزارها، ارزیابی جداگانه ادعا و منبع، و ایجاد مرحلهای برای مسدودسازی یا اصلاح پاسخ میتواند به افزایش قابلیت ممیزی و کاهش نسبتدادن نادرست اطلاعات در سامانههای حساس کمک کند. citeturn0view0
این مدل در اپکس۲۴ قابل دسترس است
یک کلید API — ۵۰+ مدل هوش مصنوعی




