
پشتیبانی ترنسفورمرز از کوانتهای llama.cpp
Hugging Face پشتیبانی اولیه از اجرای مدلهای GGUF کوانتیده را مستقیما در کتابخانه Transformers اضافه کرده است. این قابلیت فعلا روی Apple Silicon و مدلهای Qwen3.5 متمرکز است و از کرنلهای ggml برای اجرای وزنهای کوانتیده استفاده میکند.
Hugging Face پشتیبانی اولیه از اجرای مدلهای GGUF را به کتابخانه Transformers اضافه کرده است. GGUF یک قالب فایل برای بستهبندی وزنهای مدل، فراداده، اطلاعات توکنایزر و در برخی موارد الگوی گفتوگو است که امکان استفاده از سطوح مختلف کوانتیزهسازی (Quantization) را برای کاهش مصرف حافظه فراهم میکند. کاربران اکنون میتوانند یک فایل GGUF را از Hugging Face Hub با رابط آشنای from_pretrained بارگذاری کنند. تمرکز اولیه این قابلیت بر استنتاج محلی (Local Inference) روی رایانههای مجهز به Apple Silicon است و معماریهای Qwen3.5 را پوشش میدهد. Hugging Face برای کاهش سربار اجرا، از کرنلهای ggml در کتابخانه kernels استفاده کرده است؛ این کرنلها عملیاتهایی مانند ضرب ماتریسی، نرمالسازی و توجه (Attention) را روی وزنهای کوانتیدهشده پردازش میکنند. در صورت نبود کرنل سازگار، Transformers میتواند وزنها را از حالت فشرده خارج کند، اما در این حالت مصرف حافظه افزایش مییابد. در آزمایش انجامشده روی یک MacBook Pro مجهز به M2 Max و ۳۲ گیگابایت حافظه یکپارچه، عملکرد Transformers در چند مدل GGUF به llama.cpp نزدیک بود. با این حال، Hugging Face تأکید کرده است که روش اندازهگیری دو ابزار کاملا یکسان نیست؛ آزمون Transformers شامل پردازش ورودی نیز میشود، در حالی که معیار llama.cpp در این مقایسه نرخ تولید توکن پس از پردازش ورودی را اندازهگیری میکند. برای توسعهدهندگان ایرانی، این تغییر میتواند اجرای مدلهای کوانتیده روی رایانههای شخصی را با ابزارهای استاندارد اکوسیستم PyTorch و Transformers سادهتر کند. امکان ارزیابی مدل، دسترسی به فعالسازیهای میانی، تغییر منطق تولید و آزمایش کدهای سفارشی در کنار همان مدل GGUF، میتواند برای توسعه و آزمایش برنامههای هوش مصنوعی محلی مفید باشد؛ هرچند پشتیبانی فعلی محدود به سختافزار و معماریهای مشخص است. Transformers همچنین امکان ارائه مدل GGUF از طریق یک رابط سازگار با OpenAI را فراهم میکند.
این مدل در اپکس۲۴ قابل دسترس است
یک کلید API — ۵۰+ مدل هوش مصنوعی




