کالکشن در Milvus چیست و چه ربطی به جدول دارد؟
در Milvus همهٔ وکتورها داخل کالکشن (Collection) ذخیره میشوند. کالکشن دقیقاً همان نقشی را دارد که جدول (Table) در پایگاه دادهٔ رابطهای دارد: ستونهای ثابت به نام فیلد (Field) و ردیفهای متغیر به نام Entity. هر Entity یک وکتور Embedding بههمراه فیلدهای اسکالر اختیاری است و همهٔ وکتورهای یک کالکشن باید بُعد (Dimension) یکسان داشته باشند.
این محدودیت بُعد، دلیل فنی دارد و سلیقهای نیست: جستجوی شباهت (Similarity Search) با محاسبهٔ فاصله بین وکتورها انجام میشود و فاصلهٔ دو وکتور با بُعد نابرابر اصلاً تعریف نمیشود. به همین دلیل قبل از ساخت کالکشن باید بدانید مدل Embedding شما خروجی چندبعدی میدهد؛ مثلاً مدلهای رایج متن، خروجی 768 یا 1536 بُعدی میدهند و همین عدد در پارامتر dim یا dimension نوشته میشود.
A collection is a two-dimensional table with fixed columns and variant rows. Each column represents a field, and each row represents an entity.
— مستندات رسمی Milvus — صفحهٔ Create Collection
| مفهوم در Milvus | معادل رابطهای | توضیح |
|---|---|---|
| کالکشن (Collection) | جدول (Table) | ظرف Entityها با اسکیمای مشخص |
| Entity | ردیف (Row) | یک آیتم ذخیرهشده: وکتور + فیلدهای اسکالر |
| فیلد (Field) | ستون (Column) | یکی از اجزای اسکیما با نوع مشخص |
| کلید اصلی (Primary Key) | Primary Key | شناسهٔ یکتای Entity؛ میتواند auto_id داشته باشد |
| پارتیشن (Partition) | پارتیشن جدول | زیرمجموعهٔ منطقی/فیزیکی برای مقیاس و جستجوی متمرکز |
| Alias | View (نزدیکترین) | نام اشارهگر که میتواند بین کالکشنها جابهجا شود |
چطور به Milvus متصل شویم و چه پیشنیازهایی لازم است؟
قبل از هر کاری سرور Milvus باید بالا باشد. سادهترین مسیر برای آزمایش، نصب Milvus Standalone با Docker Compose طبق مستندات رسمی است؛ پس از بالا آمدن، همهٔ عملیات روی پورت پیشفرض 19530 انجام میشود. کدهای این مقاله با pymilvus نسخهٔ 3.0.x نوشته شدهاند، پس اگر نسخهٔ قدیمیتری دارید اول ارتقا بدهید.
- Milvus 2.4 یا جدیدتر در حال اجرا (Standalone روی پورت پیشفرض 19530)
- pymilvus نسخهٔ 3.0.x با دستور pip install -U pymilvus
- Python 3.10 یا جدیدتر برای اجرای اسکریپتهای نمونه
- curl برای اجرای مثالهای RESTful API v2
- اختیاری اما توصیهشده: کلید API هوش مصنوعی APX24 برای بخش پایانی (تولید Embedding)
اتصال در pymilvus نسخههای جدید با کلاس MilvusClient انجام میشود: پارامتر uri آدرس سرور است و token به شکل username:password داده میشود. نصب پیشفرض Milvus با کاربر root و رمز Milvus بالا میآید؛ برای آزمایش محلی کافی است، اما همین توکنِ ساده در Production یک حفرهٔ امنیتی واقعی است.
سریعترین راه ساخت کالکشن چیست؟ (Quick Setup)
اگر فقط میخواهید سریع شروع کنید، Milvus حالت Quick Setup دارد: نام کالکشن بههمراه بُعد وکتور، همین دو چیز. Milvus خودش فیلد id (کلید اصلی INT64)، فیلد vector و ایندکس با متریک پیشفرض COSINE را میسازد و چون ایندکس همزمان با کالکشن ساخته میشود، کالکشن بلافاصله Load و آمادهٔ جستجو است. برای نمونهسازی، دمو و یادگیری، هیچ مسیری سریعتر از این نیست.
چطور کالکشن سفارشی با اسکیمای کامل بسازم؟ (Custom Setup)
Quick Setup برای نمونهسازی عالی است، اما به محض اینکه متن، تاریخ، دستهٔ محصول یا شناسهٔ کاربر لازم داشته باشید، به اسکیمای واقعی نیاز دارید. Custom Setup سه بخش دارد: اسکیما (فیلدها و نوعها)، پارامترهای ایندکس و خود دستور create_collection که این دو را کنار هم میگذارد. هر چیزی که از امروز در اسکیما تعریف کنید، فردا در فیلترها و سرعت جستجو جواب میدهد.
- 1
ساخت اسکیمای خالی
با MilvusClient.create_schema اسکیمای خالی بسازید؛ پارامتر auto_id مشخص میکند کلید اصلی خودکار مقدار بگیرد یا نه و enable_dynamic_field اجازهٔ ذخیرهٔ کلید-مقدارهای خارج از اسکیما را میدهد.
- 2
افزودن فیلدها
حداقل یک فیلد کلید اصلی و یک فیلد FLOAT_VECTOR با dim لازم است؛ فیلدهای اسکالر دیگر (VARCHAR، INT64، JSON و…) اختیاریاند اما همانها هستند که بعداً فیلتر جستجو میشوند.
- 3
آمادهسازی پارامترهای ایندکس
با prepare_index_params یک شیء ایندکس بسازید و برای فیلد وکتور نوع و متریک تعیین کنید؛ AUTOINDEX و COSINE پیشفرضهای مطمئن برای شروع هستند.
- 4
ساخت نهایی کالکشن
create_collection را با schema و index_params صدا بزنید؛ چون ایندکس داده شده، Milvus کالکشن را خودکار Load میکند.
| DataType | کاربرد نمونه | پارامتر لازم |
|---|---|---|
| INT64 | شناسه، زمان یونیکس، امتیاز عددی | — |
| VARCHAR | متن، کد زبان، شناسهٔ رشتهای | max_length (اجباری) |
| BOOL | پرچم انتشار، وضعیت بررسی | — |
| JSON | متادیتای ناهمگن و نیمهساختیافته | — |
| FLOAT_VECTOR | Embedding متن و تصویر | dim (اجباری) |
| SPARSE_FLOAT_VECTOR | وکتورهای پراکنده (Sparse) مثل خروجی BM25 | dim نمیگیرد |
| مورد | سرعت راهاندازی | کنترل اسکیما | کنترل ایندکس و متریک | پشتیبانی از متادیتا | بهترین کاربرد |
|---|---|---|---|---|---|
| Quick Setup | چند ثانیه — یک خط کد | فقط id و vector | پیشفرض AUTOINDEX با COSINE | فقط Dynamic Field | نمونهسازی، دمو، یادگیری |
| Custom Setup | چند دقیقه — چند خط کد | کامل و آزاد | انتخاب نوع ایندکس و متریک | فیلدهای تایپدار + Dynamic Field | Production و RAG واقعی |
چطور کالکشنهای موجود را فهرست و بررسی کنم؟
بعد از ساخت نوبت بازرسی است؛ پنج متد کوچک، کل چیزی را که برای نظارت لازم دارید میدهند: فهرست کالکشنها، وجود یا نبودن یک نام خاص، جزئیات کامل اسکیما و ایندکس، شمارش ردیفها و وضعیت حافظه. همین پنج متد پایهٔ داشبوردهای نظارتی و اسکریپتهای سلامتسنجی Production هستند.
Load و Release یعنی چه و کِی باید انجام بدهم؟
Load یعنی وکتورها و ایندکس کالکشن به حافظهٔ گرههای Query بارگذاری شوند تا جستجو ممکن باشد؛ Release یعنی از حافظه خارج شوند بدون اینکه داده حذف شود. نکتهٔ ظریف این است که درج داده (Insert) بدون Load هم کار میکند، اما جستجو هرگز — و همین تفاوت، منبع شایعترین سردرگمی تازهکارها در Milvus است.
پارتیشنها را چطور مدیریت کنم و چه فرقی با کالکشن دارند؟
پارتیشن زیرمجموعهٔ منطقی و فیزیکی کالکشن است؛ هر کالکشن هنگام ساخت یک پارتیشن پیشفرض به نام _default میگیرد و میتوانید تا سقف ۱,۰۲۴ پارتیشن برای آن بسازید. فایدهٔ عملی پارتیشن، محدودکردن دامنهٔ جستجو است: جستجویی که فقط روی پارتیشن مشخص اجرا میشود، دادهٔ کمتری را اسکن میکند و تأخیر کمتری میدهد — و اگر لازم باشد میتوانید یک پارتیشن را جداگانه Load یا Release کنید.
Alias چیست و چطور بدون Downtime کالکشن را عوض کنم؟
Alias اسم مستعاری است که به یک کالکشن اشاره میکند و با alter_alias میتواند به کالکشن دیگری منتقل شود. اگر اپلیکیشن شما همیشه با Alias جستجو کند، بعداً هر بازسازی بزرگ دیتا به یک عملیات یکخطی تبدیل میشود: نسخهٔ جدید کالکشن را کنار قدیمی میسازید، داده و ایندکس را آماده میکنید و در لحظهٔ مناسب، Alias را میچرخانید — بدون تغییر کد اپلیکیشن، بدون توقف سرویس و با امکان بازگشت فوری در صورت مشکل.
- 1
ساخت کالکشن جدید کنار قدیمی
کالکشن نسخهٔ جدید (مثلاً apx_docs_v2) را با اسکیمای بهروز بسازید؛ قدیمی دستنخورده به کارش ادامه میدهد.
- 2
پرکردن و آمادهسازی نسخهٔ جدید
دادهٔ re-embed شده را درج کنید، ایندکس بسازید و کالکشن را Load کنید؛ کیفیت جستجو را قبل از سوییچ روی نسخهٔ جدید تست کنید.
- 3
چرخاندن Alias
با alter_alias اشارهگر را به نسخهٔ جدید ببرید؛ همهٔ اپلیکیشنهایی که با Alias جستجو میکنند بلافاصله به دادهٔ جدید میرسند.
- 4
تأیید و پاکسازی
چند جستجوی نمونه بگیرید و سپس کالکشن قدیمی را در زمان امن حذف کنید؛ اگر مشکلی بود، همان alter_alias برمیگرداند.
حذف، تغییر نام و پاکسازی کالکشن چگونه انجام میشود؟
حذف کالکشن همهٔ داده و ایندکس آن را برمیدارد و برگشتناپذیر است؛ پس همیشه قبل از drop با has_collection وجودش را تأیید کنید و اگر Alias روی آن دارید، مقصد را ببینید. pymilvus نسخهٔ 3.0.x متدهای rename_collection و truncate_collection را هم دارد؛ Truncate برای پاکسازی داده بدون از دست دادن اسکیما مناسب است و Rename (با اندپوینت RESTful مخصوص خودش) برای چیدمان نامها. مرجع کامل متدها در فهرست Collections جستجو میشود و از منابع مقاله در دسترس است.
چطور کالکشن Milvus را با Embeddingهای APX24 پر کنم؟
کالکشن خالی هیچ سودی ندارد؛ قلب ماجرا Embedding است. هر سرویس API هوش مصنوعی سازگار با فرمت OpenAI — از جمله APX24 — میتواند متن فارسی را به وکتور تبدیل کند؛ شما آن وکتور را در کالکشن ذخیره میکنید و بعداً با جستجوی شباهت، پایهٔ هر سیستم RAG را میسازید. قانون طلایی که در بخشهای قبل یاد گرفتید اینجا حیاتی میشود: پارامتر dim فیلد وکتور باید دقیقاً برابر بُعد خروجی مدل Embedding باشد؛ نه بیشتر، نه کمتر.
محدودیتها و نکات Production که باید بشناسید؟
طراحی درست کالکشن یعنی شناختن سقفها قبل از برخورد با آنها. مقادیر زیر از صفحهٔ Limitations مستندات رسمی Milvus استخراج شدهاند و در نسخههای 2.5 و 2.6 همینها مبنای برنامهریزی ظرفیت است؛ پیش از هر طراحی حدی، صفحهٔ نسخهٔ خودتان را هم چک کنید چون این سقفها بین نسخهها ممکن است تغییر کنند.
| محدودیت | مقدار | توضیح |
|---|---|---|
| حداکثر تعداد کالکشن در هر کلاستر | 65,536 | برای multi-tenancy همچنان پارتیشن بهتر از کالکشن است |
| حداکثر بُعد وکتور | 32,768 | برای فیلدهای وکتوری float |
| حداکثر پارتیشن در هر کالکشن | 1,024 | بههمراه پارتیشن خودکار _default |
| حداکثر طول نام کالکشن | 255 کاراکتر | حروف، اعداد و آندرلاین؛ شروع با حرف یا آندرلاین |





