
پذیرش سیگنال مشترک robots.txt توسط OpenAI
OpenAI اعلام کرد که سیگنال مشترکی در فایل robots.txt را میپذیرد تا مالکان وبسایت بتوانند ترجیحات خود درباره آموزش مدلهای هوش مصنوعی را به ارائهدهندگان مشارکتکننده اعلام کنند. این سیگنال بهصورت مشترک میان چند ارائهدهنده تعریف شده و هدف آن یکسانسازی روش انتقال این ترجیحات است.
OpenAI در تازهترین اطلاعیه خود در وبلاگ رسمی اعلام کرد که سیگنال مشترکی را در فایل robots.txt وبسایتها خواهد پذیرفت. این سیگنال به 운영کنندگان سایت کمک میکند ترجیحات خود را درباره استفاده از محتوایشان برای آموزش مدلهای هوش مصنوعی به ارائهدهندگان مشارکتکننده منتقل کنند. فایل robots.txt سالهاست بهعنوان ابزار استاندارد گفتوگو میان مدیران سایت و خزندههای موتورهای جستوجو شناخته میشود. تا پیش از این، کاربرد اصلی این فایل محدود به تعیین اجازه یا منع خزش (Crawl) صفحات بود، اما با گسترش مدلهای زبانی، نیاز به سازوکاری برای اعلام ترجیحات مربوط به آموزش (Training) نیز احساس شد. سیگنال تازه تلاش میکند همین نقش را در قالبی یکسان ایفا کند. نکته مهم در این اعلام، واژه «مشترک» است. به گفته OpenAI، این سیگنال صرفاً یک تصمیم یکطرفه از سوی این شرکت نیست، بلکه میان ارائهدهندگان مشارکتکننده به اشتراک گذاشته شده است؛ یعنی مالک سایت لازم نیست برای هر ارائهدهنده جداگانه ترجیحات خود را تعریف کند. با این حال، دامنه اجرا تنها شامل ارائهدهندگانی میشود که به این سیگنال پیوستهاند و شرکتهایی که خارج از این چارچوب باقی بمانند، مشمول آن نخواهند بود. برای توسعهدهندگان ایرانی، این تغییر پیامد عملی دارد. تیمهایی که محتوای فارسی تولید میکنند یا داده اختصاصی خود را در وب منتشر میسازند، اکنون میتوانند با یک تنظیم واحد در robots.txt موضع خود را در برابر مجموعهای از ارائهدهندگان مشخص کنند. همچنین سازندگان ابزارهای خزش (Crawler) و پایش وب باید بررسی کنند که آیا این سیگنال را در سیاستهای خود لحاظ میکنند یا نه، زیرا نادیده گرفتن آن میتواند به اختلاف با مالکان محتوا منجر شود. این اقدام را باید در چارچوب تلاشهای گستردهتر صنعت برای شفافسازی رابطه میان ناشران محتوا و توسعهدهندگان مدل دید. با این حال، robots.txt همچنان یک سازوکار داوطلبانه و غیرالزامآور است و ضمانت اجرایی حقوقی ندارد؛ به همین دلیل، اثربخشی آن به میزان پایبندی ارائهدهندگان وابسته خواهد بود.
این مدل در اپکس۲۴ قابل دسترس است
یک کلید API — ۵۰+ مدل هوش مصنوعی




