
نسخه ۱ توکنایزرهای Hugging Face سریعتر میشود
Hugging Face در نسخه کاندید انتشار Tokenizers v1 با بازطراحی مسیر رمزگذاری و رمزگشایی، عملکرد کتابخانه را بهبود داده است. این نسخه طبق بنچمارک رسمی، در رمزگذاری تکریسمانی ۳ تا ۳۰ برابر سریعتر از نسخه 0.23 عمل میکند و شناسههای توکن را حفظ میکند.
Hugging Face برای نسخه ۱ کتابخانه Tokenizers، مجموعهای از تغییرات داخلی را با تمرکز بر عملکرد و مقیاسپذیری معرفی کرده است. این کتابخانه مسئول تبدیل متن به شناسههای عددی مورد استفاده مدلهای هوش مصنوعی است و در نسخه جدید، ضمن حفظ شناسههای توکن، واژگان، رتبه ادغامها و رابط برنامهنویسی (API)، مسیر اجرای آن بازطراحی شده است. در بنچمارکهای منتشرشده، مسیر رمزگذاری (encode) در ۱۰ خانواده مدل روی پردازنده Apple M4 Max و در حالت تکریسمانی، بین ۳ تا ۳۰ برابر سریعتر از Tokenizers 0.23 اندازهگیری شده است. نسخه جدید همچنین با هشت worker به ۷۶ درصد مقیاسپذیری خطی رسیده است. در مسیر رمزگشایی (decode) نیز برای شش خانواده مدل، سرعتی بین ۵.۴ تا ۸.۸ برابر نسخه 0.23 گزارش شده است. بخش مهمی از این بهبودها از حذف تخصیصهای مکرر حافظه، استفاده از بافرهای موقت قابل استفاده مجدد، اجرای موازی بومی، ذخیرهسازی نتایج واژههای تکراری و جایگزینی برخی عملیات مبتنی بر موتور عبارات منظم (regex) با عملیات برداری مبتنی بر SIMD به دست آمده است. این تغییرات باعث میشوند پردازش دستهای متن روی هستههای متعدد پردازنده بهتر مقیاسپذیر شود و حافظه کمتری نیز مصرف شود. برای توسعهدهندگان ایرانی که از مدلهای زبانی و سامانههای پردازش متن استفاده میکنند، این تغییرات میتواند در سرویسهایی با درخواستهای همزمان، ورودیهای طولانی یا پردازش حجم بالای داده اهمیت داشته باشد. با این حال، عملکرد واقعی به نوع توکنایزر، زبان و الگوی ورودی، میزان تکرار متن، سختافزار و هزینه سربار اتصالهای Python یا سایر زبانها وابسته است؛ بنابراین اعداد منتشرشده باید با دادههای واقعی هر سامانه ارزیابی شوند. نسخه فعلی در مرحله کاندید انتشار قرار دارد و پروژه برای نسخه 1.0.0 هنوز پشتیبانی از خانوادههای مدل بیشتر، بهینهسازی نرمالسازها، متادیتای اختیاری و بازطراحی اتصالهای Python و زبانهای دیگر را در نظر گرفته است. Hugging Face همچنین توسعه احتمالی پردازش توکنها روی پردازنده گرافیکی (GPU) را برای مراحل پس از نسخه ۱ بررسی میکند.
این مدل در اپکس۲۴ قابل دسترس است
یک کلید API — ۵۰+ مدل هوش مصنوعی




