
TorchNeuron: اجرای مدلهای Hugging Face روی AWS Trainium سادهتر شد
کتابخانه TorchNeuron اجرای مدلهای Hugging Face روی پردازندههای AWS Trainium را سادهسازی میکند. این ابزار فرآیند کامپایل و بهینهسازی را خودکارسازی کرده و نیاز به تغییر دستی کد را به حداقل میرساند.
کتابخانه TorchNeuron بهعنوان ابزاری جدید برای اجرای مدلهای Hugging Face روی پردازندههای AWS Trainium معرفی شده است. این کتابخانه که توسط تیم Hugging Face توسعه یافته، فرآیند کامپایل و بهینهسازی مدلهای یادگیری عمیق را برای سختافزار تخصصی آمازون خودکارسازی میکند. هدف اصلی این ابزار، کاهش موانع فنی برای استقرار مدلهای زبان بزرگ روی Trainium است. از نظر فنی، TorchNeuron بهعنوان یک پسوند (Extension) برای PyTorch عمل میکند و رابط برنامهنویسی کاربردی (API) سازگار با اکوسیستم Hugging Face ارائه میدهد. این کتابخانه از مدلهای محبوب مانند BERT، GPT و T5 پشتیبانی میکند و فرآیند تبدیل گراف محاسباتی را برای معماری NeuronCore بهصورت خودکار انجام میدهد. توسعهدهندگان میتوانند بدون آشنایی عمیق با جزئیات سختافزاری Trainium، مدلهای خود را روی این پردازندهها اجرا کنند. مزیت کلیدی TorchNeuron در سادهسازی گردش کار (Workflow) استقرار مدلها نهفته است. پیش از این، اجرای مدلهای Hugging Face روی Trainium نیازمند تنظیمات دستی و اصلاح کد بود، اما این کتابخانه با ارائه ابزارهای خودکارسازی، زمان لازم برای آمادهسازی مدل را بهطور قابلتوجهی کاهش میدهد. همچنین، بهینهسازی خودکار عملکرد (Performance) باعث میشود مدلها با راندمان بالاتری روی سختافزار Trainium اجرا شوند. برای توسعهدهندگان ایرانی، این ابزار میتواند دسترسی به سختافزار تخصصی آموزش مدل را تسهیل کند. با توجه به محدودیتهای دسترسی به پردازندههای گرافیکی پرکاربرد مانند NVIDIA A100، AWS Trainium بهعنوان یک جایگزین مقرونبهصرفه مطرح است. توسعهدهندگان ایرانی که از خدمات ابری AWS استفاده میکنند، میتوانند با کمک TorchNeuron مدلهای Hugging Face را بدون نیاز به دانش تخصصی کامپایلر، روی Trainium مستقر کنند و از هزینه پایینتر محاسبات بهرهمند شوند.
این مدل در اپکس۲۴ قابل دسترس است
یک کلید API — ۵۰+ مدل هوش مصنوعی




