ایندکس در Milvus چیست و چرا بدون آن جستجوی برداری عملاً ممکن نیست؟
ایندکس (Index) در Milvus یعنی سازماندهی دادهٔ یک فیلد در ساختاری جدا از خود رکوردها، تا موتور جستجو بهجای بررسی همهٔ بردارها فقط به زیرمجموعهٔ محتمل سر بزند. ایندکس در Milvus مفهومی «مخصوص فیلد» است: روی هر فیلد — برداری یا اسکالر — میتوانید ایندکس بسازید و روی یک فیلد برداری در هر لحظه فقط یک ایندکس فعال وجود دارد. نکتهٔ عملی مهم این است که هنگام تعویض نوع ایندکس، Milvus ایندکس قبلی را خودکار حذف میکند؛ پس آزمودن ایندکسهای مختلف روی دادهٔ واقعی، فرایندی امن و ساده است. [S1]
بیشتر ایندکسهای برداری Milvus از خانوادهٔ ANNS (جستجوی تقریبی نزدیکترین همسایه) هستند. ایدهٔ مرکزی ANNS صادقانه ساده است: بهجای یافتن قطعیِ نزدیکترین همسایهها که بسیار زمانبر است، قبول کنید که در بازهٔ قابلقبولی از دقت، چندین مرتبه سریعتر جواب بگیرید. طبق مستندات رسمی، این الگوریتمها از نظر پیادهسازی به چهار دستهٔ Tree-based، Graph-based، Hash-based و Quantization-based تقسیم میشوند و هر نوع ایندکس Milvus در یکی از این دستهها مینشیند. [S1]
انواع ایندکس برداری در Milvus کداماند؟ (نقشهٔ کامل بر اساس نوع داده)
اولین و مهمترین معیار انتخاب ایندکس، نوع دادهٔ فیلد برداری شماست. Milvus سه نوع بردار دارد: FLOAT_VECTOR (بردارهای متراکم معمولی که مدلهای embedding تولید میکنند)، BINARY_VECTOR (بردارهای بیتی برای اثر انگشت و هشهای شباهت) و SPARSE_FLOAT_VECTOR (بردارهای خلوت خروجی BM25 و مدلهای sparse). برای هر نوع، فهرست ایندکسهای مجاز کاملاً متفاوت است و جدول زیر عین نگاشت رسمی صفحهٔ Index Explained مستندات Milvus است. [S1]
| نوع فیلد | ایندکسهای مجاز | متریکهای مجاز |
|---|---|---|
| FLOAT_VECTOR | FLAT، IVF_FLAT، IVF_SQ8، IVF_PQ، IVF_RABITQ، IVF_RABITQ_FASTSCAN، HNSW، HNSW_SQ، HNSW_PQ، HNSW_PRQ، DISKANN، SCANN، AISAQ، FAISS، GPU_CAGRA، GPU_IVF_FLAT، GPU_IVF_PQ، GPU_BRUTE_FORCE | L2، IP، COSINE |
| FLOAT16/BFLOAT16/INT8_VECTOR | همان خانوادهٔ FLAT، IVF، HNSW، DISKANN، SCANN، AISAQ و GPU (بدون IVF_RABITQ_FASTSCAN و FAISS) | L2، IP، COSINE |
| BINARY_VECTOR | BIN_FLAT، BIN_IVF_FLAT، MINHASH_LSH | JACCARD، HAMMING |
| SPARSE_FLOAT_VECTOR | SPARSE_INVERTED_INDEX | IP، BM25 |
- خانوادهٔ دقیق (Brute Force): FLAT، BIN_FLAT و GPU_BRUTE_FORCE — recall کامل، هزینهٔ خطی؛ مناسب دیتاست کوچک و ساخت ground truth.
- خانوادهٔ خوشهبندی/معکوس (IVF): IVF_FLAT، IVF_SQ8، IVF_PQ، BIN_IVF_FLAT — فضا را با k-means به nlist خوشه تقسیم میکنند و جستجو فقط در nprobe خوشه میرود.
- خانوادهٔ گرافمحور: HNSW و نسخههای فشردهٔ HNSW_SQ/HNSW_PQ/HNSW_PRQ بهعلاوهٔ GPU_CAGRA — سریعترین جستجو با recall بالا در ازای حافظهٔ بیشتر.
- خانوادهٔ کوانتیزاسیون: IVF_SQ8، IVF_PQ، SCANN، IVF_RABITQ — بردارها را فشرده میکنند تا حافظه و پهنای باند کم شود.
- خانوادهٔ دیسکمحور: DISKANN و AISAQ — برای زمانی که داده از RAM بزرگتر است.
ایندکس FLAT چه زمانی انتخاب درستی است؟ (جستجوی دقیق و متریکها)
FLAT هیچ ساختار خاصی نمیسازد؛ بردارها را همانطور که هستند نگه میدارد و در زمان جستجو، پرسوجو را با همهٔ بردارها مقایسه میکند. نتیجه: recall دقیقاً ۱۰۰ درصد، بدون هیچ پارامتر قابل تنظیم. هزینهٔ این دقت، مقیاسپذیری است — پیچیدگی هر جستجو متناسب با N×d است، پس روی دیتاستهای بزرگ کند و پرهزینه میشود. طبق جدول سناریوی رسمی مستندات، FLAT برای «دیتاست نسبتاً کوچک» و «نیاز به recall صددرصد» تعریف شده است. [S5] نکتهٔ کاربردی: تیمهای حرفهای حتی روی دیتاست بزرگ هم یک نسخهٔ FLAT نگه میدارند تا ground truth سنجش recall ایندکس اصلیشان باشد.
برای اینکه اندازهٔ مسئله را لمس کنید، یک محاسبهٔ ساده از خود مستندات: هر بردار ۱۲۸بعدی float32 برابر ۱۲۸ × ۴ = ۵۱۲ بایت حافظه میگیرد. [S5] یک میلیون بردار یعنی حدود ۵۱۲ مگابایت فقط برای دادهٔ خام — پیش از آنکه سربار ایندکس، شناسهها و فیلدهای اسکالر را حساب کنیم. با embeddingهای رایج ۷۶۸ یا ۱۵۳۶ بعدی این عدد سه تا شش برابر میشود؛ دقیقاً به همین دلیل خانوادههای فشردهٔ SQ8 و PQ در بخشهای بعدی معرفی شدهاند.
خانوادهٔ IVF چطور با خوشهبندی جستجو را سرعتی میکند؟
IVF مخفف Inverted File است و ایدهٔ آن قرض گرفتن ایندکس معکوس از موتورهای جستجوی متنی برای فضای برداری است. هنگام ساخت، الگوریتم k-means کل دیتاست را به nlist خوشه تقسیم میکند و هر بردار به خوشهٔ نزدیکترین سنترویدش میرود. هنگام جستجو، بهجای گشتن در همهٔ بردارها، فقط در nprobe خوشهای که سنترویدهایشان به پرسوجو نزدیکتر است میگردد. [S2] [S11] همین تصمیم دو مرحلهای — «اول خوشه، بعد بردار» — است که هزینهٔ جستجو را از N به حدود (nprobe/nlist)×N کاهش میدهد و ریسک آن هم مشخص است: اگر نزدیکترین بردار واقعی در خوشهای باشد که انتخاب نشده، از دست میرود؛ همان جایی که پارامتر nprobe وارد بازی میشود. [S11]
| ایندکس | پارامتر ساخت | پارامتر جستجو | فشردهسازی | سناریوی رسمی مستندات |
|---|---|---|---|---|
| IVF_FLAT | nlist | nprobe | بدون فشردهسازی — بردارها کامل ذخیره میشوند | سرعت بالا با بیشترین recall ممکن در خانوادهٔ IVF [S5] |
| IVF_SQ8 | nlist | nprobe | کوانتیزاسیون اسکالر — هر مؤلفهٔ float32 به int8؛ حدود یکچهارم حافظه | سرعت خیلی بالا با منابع حافظهٔ محدود و پذیرش افت جزئی recall [S5] |
| IVF_PQ | nlist + پارامترهای PQ (m و nbits) | nprobe | کوانتیزاسیون محصول — کدهای کوتاه چندبخشی؛ فشردهترین حالت | سرعت بالا با حافظهٔ بسیار محدود و پذیرش افت recall بیشتر [S5] |
HNSW چیست و چرا سریعترین انتخاب برای recall بالا محسوب میشود؟
HNSW (Hierarchical Navigable Small World) برخلاف IVF فضای برداری را خوشهبندی نمیکند؛ بهجای آن یک گراف چندلایه میسازد که در آن هر بردار یک گره است و یالها به همسایههای نزدیک وصلاند. لایههای بالاتر پرکشیده و کمتراکماند (مثل بزرگراهها) و با پایین آمدن، گراف متراکم و محلیتر میشود (مثل خیابانهای شهری). جستجو از نقطهٔ ورود در بالاترین لایه شروع میشود، بهصورت حریصانه به گرهای نزدیکتر به پرسوجو میپرد و در هر مرحله یک لایه پایین میآید تا در لایهٔ صفر نزدیکترین همسایهها پیدا شوند. نتیجهٔ این معماری، جستجوی چند ده میلیثانیهای با recall بالا روی دیتاستهای بزرگ است — به بهای بزرگترین مصرف حافظه در میان ایندکسهای حافظهای Milvus. [S5]
| پارامتر | نقش | بازهٔ مجاز | پیشفرض | توصیهٔ مستندات |
|---|---|---|---|---|
| M (ساخت) | حداکثر تعداد اتصال دوسویهٔ هر گره در گراف | 2 تا 2048 | 30 | 5 تا 100؛ M بزرگتر یعنی recall بالاتر با حافظهٔ بیشتر و ساخت کندتر [S3] |
| efConstruction (ساخت) | تعداد کاندیدهایی که هنگام ساخت برای اتصال بررسی میشوند | 1 تا بیشینهٔ عددی | 360 | 50 تا 500؛ مقدار بزرگتر گراف دقیقتر اما ساخت طولانیتر [S3] |
| ef (جستجو) | گستردگی پیمایش در زمان جستجو | 1 تا بیشینهٔ عددی | max(limit, 16) برای جستجوی عادی و 512 برای جستجوی بازهای | حداقل برابر K و تا 10000؛ ef بزرگتر دقت را بالا میبرد و latency را زیاد میکند [S3] |
وقتی حافظهٔ HNSW به شما نمیرسد، لازم نیست سراغ IVF بروید: Milvus نسخههای فشردهٔ همین گراف را دارد. HNSW_SQ گراف را با کوانتیزاسیون اسکالر نگه میدارد و برای «سرعت خیلی بالا با منابع حافظهٔ محدود» تعریف شده؛ HNSW_PQ و HNSW_PRQ با کوانتیزاسیون محصول (و نسخهٔ بازگشتی آن) برای «حافظهٔ بسیار محدود» ساخته شدهاند و بهای آن، سرعت متوسطتر و افت جزئی recall است. [S5] در جدول سناریوی رسمی، این سه نسخه دقیقاً با همین توصیفها فهرست شدهاند؛ یعنی میتوانید رفتار جستجوی HNSW را حفظ کنید و فقط دقت بازنمایی بردارها را کم کنید.
ایندکسهای GPU و دیسکمحور: SCANN، DISKANN، AISAQ و IVF_RABITQ برای مقیاسهای بزرگ
دو سناریو ایندکسهای حافظهای معمولی را به چالش میکشد: بار کاری سنگینی که حتی جستجوی HNSW برایش کند است، و دادهای که اصلاً در RAM جا نمیشود. برای سناریوی اول، Milvus خانوادهٔ ایندکسهای GPU را دارد: GPU_CAGRA بهعنوان ایندکس گرافمحور مخصوص GPU، GPU_BRUTE_FORCE برای جستجوی دقیق شتابگرفته از GPU، و نسخههای GPU_IVF_FLAT و GPU_IVF_PQ. [S1] در این حالت ساخت ایندکس و جستجوی batch روی هزاران پرسوجوی همزمان به GPU منتقل میشود و معمولاً throughput چند برابر میشود. برای سناریوی دوم، ایندکسهای دیسکمحور DISKANN و نسل جدید آن AISAQ داده را روی SSD نگه میدارند و فقط بخشی کوچک در RAM باقی میماند. [S1]
- GPU_CAGRA: ایندکس گرافمحور مخصوص GPU؛ ساخت سریع و جستجوی batch سنگین؛ اگر کلاستر GPU دارید اولین گزینه است. [S1]
- GPU_BRUTE_FORCE: جستجوی دقیق روی GPU؛ جایگزین شتابدار FLAT وقتی recall صددرصد میخواهید و GPU دارید. [S1]
- GPU_IVF_FLAT / GPU_IVF_PQ: نسخههای GPU خانوادهٔ IVF برای فاصلهگیری بین سرعت و حافظهٔ VRAM. [S1]
- DISKANN: ایندکس کلاسیک دیسکمحور Milvus؛ برای دیتاستهایی که چند برابر RAM هستند و بودجهٔ حافظه سفت است. [S1]
- AISAQ: ایندکس دیسکی جدیدتر با تعادل قابلتنظیم بین consistency و کارایی؛ نقطهٔ شروع خوب برای معماریهای مقیاسپذیر در نسخههای جدید. [S1]
- IVF_RABITQ / IVF_RABITQ_FASTSCAN: کوانتیزاسیون ۱بیتی RaBitQ که کمحافظهترین خانوادهٔ فهرست رسمی است و با refinement دقت قابل بازسازی است. [S1]
ایندکسهای اسکالر چطور فیلترینگ متادیتا را شتاب میدهند؟
جستجوی واقعی همیشه برداری خالص نیست: «پنج سند شبیه این متن، اما فقط از دستهٔ فناوری و منتشرشده در سه ماه اخیر». Milvus عبارت فیلتر را به یک درخواست جستجو وصل میکند و پیش از جستجوی ANN، رکوردهای نامعتبر را با بیتست حذف میکند. [S4] سرعت این مرحله کاملاً به ایندکس فیلدهای اسکالر بستگی دارد؛ بدون ایندکس، فیلتر به اسکن خطی روی مقادیر تبدیل میشود و هرچه مجموعه بزرگتر باشد، بخش بزرگی از زمان پاسخ را میبلعد. به همین دلیل مستندات رسمی صریحاً توصیه میکند برای فیلدهای برداری و اسکالرِ پرتکرار در فیلترها ایندکس بسازید. [S1]
| نوع دادهٔ فیلد | ایندکسهای مجاز و توصیهٔ رسمی |
|---|---|
| VARCHAR | INVERTED (توصیهٔ رسمی)، BITMAP، Trie |
| BOOL | BITMAP (توصیهٔ رسمی)، INVERTED |
| INT8 / INT16 / INT32 / INT64 | INVERTED، STL_SORT |
| FLOAT / DOUBLE | INVERTED |
| ARRAY از BOOL/INT/VARCHAR | BITMAP (توصیهٔ رسمی) |
چطور ایندکس مناسب پروژهام را انتخاب کنم؟ (فلوچارت + جدول سناریو)
بعد از شناخت همهٔ گزینهها، انتخاب به سه سؤال خلاصه میشود که ترتیبشان مهم است: اول، آیا recall صددرصد غیرقابل مذاکره است؟ دوم، آیا داده از RAM بزرگتر است؟ سوم، چه سختافزار و چقدر حافظه دارید؟ هر جواب یک شاخه را حذف میکند و معمولاً بعد از دو سؤال فقط یک یا دو ایندکس باقی میماند. فلوچارت زیر همین مسیر را رسم میکند و جدول بعدی، سناریوهای رسمی مستندات را به ایندکس پیشنهادی ترجمه میکند.
| سناریو | ایندکس پیشنهادی | چرا |
|---|---|---|
| دیتاست کوچک و نیاز recall صددرصد | FLAT / BIN_FLAT | جستجوی دقیق بدون سربار ساخت؛ روی حجم کم سرعت کافی دارد [S5] |
| سرعت بالا + بیشترین recall ممکن | IVF_FLAT یا HNSW | IVF_FLAT متعادل و ساده است؛ HNSW سریعتر با حافظهٔ بیشتر [S5] |
| سرعت خیلی بالا + RAM محدود | IVF_SQ8 یا HNSW_SQ | کوانتیزاسیون اسکالر حافظه را حدود یکچهارم میکند [S5] |
| حافظهٔ بسیار محدود + پذیرش افت recall | IVF_PQ / HNSW_PQ / HNSW_PRQ | کوانتیزاسیون محصول فشردهترین بازنمایی را میدهد [S5] |
| سرعت و recall حداکثری + RAM کافی | HNSW یا SCANN | هر دو برای دقت بالا با منابع کافی تعریف شدهاند [S5] |
| دادهٔ بزرگتر از RAM | DISKANN یا AISAQ | ایندکس روی SSD نگه داشته میشود [S1] |
| GPU موجود و بار batch سنگین | GPU_CAGRA / GPU_IVF_FLAT / GPU_IVF_PQ | ساخت و جستجو روی GPU شتاب میگیرد [S1] [S6] |
| بردار sparse (جستجوی تماممتن/BM25) | SPARSE_INVERTED_INDEX | تنها ایندکس مجاز برای SPARSE_FLOAT_VECTOR [S7] |
| نمیدانم کدام — شروع سریع | AUTOINDEX | Milvus بر اساس نوع فیلد ایندکس مناسب را انتخاب میکند [S4] |
خطاها، باورهای غلط و نکات production در کار با ایندکس Milvus
مثال کامل: از تولید embedding با API تا ایندکسسازی و جستجوی فیلترشده در Milvus
حالا همهٔ قطعات را کنار هم میگذاریم. سناریو: یک پایگاه دانش خبری که میخواهد جستجوی معنایی روی عنوان و متن مقالات بسازد. بردارها با یک مدل embedding تولید میشوند — برای توسعهدهندگان ایرانی، API اپکس۲۴ همین امروز سریعترین مسیر است چون endpoint embeddings سازگار با OpenAI دارد و نیازی به سرویس خارجی نیست — و ذخیرهسازی، ایندکسسازی و جستجو با Milvus انجام میشود. ابتدا بردار متن نمونه را میگیریم، سپس مجموعه را با ایندکس برداری HNSW و ایندکس اسکالر INVERTED میسازیم و در پایان جستجوی فیلترشده اجرا میکنیم.





