
آموزش آگاه از تجمیع توکن برای مدلهای تعبیه چندبرداری
هاگینگ فیس روشی برای آموزش مدلهای تعبیه چندبرداری ارائه کرده که در آن تجمیع توکن به صورت آگاهانه در فرایند آموزش لحاظ میشود. این رویکرد میتواند کیفیت بازیابی و رتبهبندی را در کاربردهای جستجو و توصیهگر بهبود بخشد.
آموزش آگاه از تجمیع توکن برای مدلهای تعبیه چندبرداری هاگینگ فیس در وبلاگ خود روشی جدید برای آموزش مدلهای تعبیه چندبرداری (multi-vector embedding) معرفی کرده است. در این روش، مرحله تجمیع توکن (token pooling) که معمولاً پس از آموزش مدل و به صورت جداگانه انجام میشود، به بخشی از فرایند آموزش تبدیل میشود. هدف این تغییر، هماهنگسازی بازنماییهای سطح توکن با بازنمایی نهایی سطح سند است. مدلهای تعبیه چندبرداری به جای تولید یک بردار واحد برای هر متن، مجموعهای از بردارها را برای توکنهای مختلف تولید میکنند. در روشهای متعارف، این بردارها پس از آموزش با عملگرهایی مانند میانگینگیری یا بیشینهگیری تجمیع میشوند. اما در رویکرد جدید، خود عملگر تجمیع نیز در طول آموزش بهینه میشود تا مدل بتواند بازنماییهایی تولید کند که برای وظایف پاییندستی مانند بازیابی اطلاعات و رتبهبندی مناسبتر باشند. بر اساس این گزارش، آموزش آگاه از تجمیع توکن میتواند دقت بازیابی را در مجموعهدادههای استاندارد بهبود دهد. این روش به ویژه برای کاربردهایی مانند جستجوی معنایی، سیستمهای توصیهگر و پرسش و پاسخ مبتنی بر بازیابی مفید است. جزئیات فنی و پیادهسازی در وبلاگ هاگینگ فیس منتشر شده است. برای توسعهدهندگان ایرانی که روی مدلهای جستجو و بازیابی کار میکنند، این روش میتواند بدون نیاز به تغییرات سختافزاری، کیفیت خروجی را بهبود بخشد. با توجه به محدودیتهای دسترسی به منابع پردازشی پیشرفته، بهینهسازی فرایند آموزش از طریق یکپارچهسازی مراحل پیشپردازش و آموزش اهمیت ویژهای دارد.
این مدل در اپکس۲۴ قابل دسترس است
یک کلید API — ۵۰+ مدل هوش مصنوعی




