بازیاب (Retriever) در LangChain دقیقاً چیست؟
بازیاب یک قرارداد (Interface) ساده اما تعیینکننده است: یک پرسوجوی متنی میگیرد و فهرستی از Document برمیگرداند. اینکه این جستجو پشتصحنه برداری باشد، کلیدواژهای باشد یا ترکیبی، به پیادهسازی بستگی دارد. همین یعنی میتوانید بازیاب را مثل یک قطعهٔ تعویضپذیر، بدون تغییر بقیهٔ سیستم عوض کنید.
A retrieval system is defined as something that can take string queries and return the most 'relevant' Documents from some source.
— مستندات رسمی LangChain — کلاس BaseRetriever (langchain-core)
پیامد عملی این ارثبری از Runnable دو چیز است. اول اینکه روی همهٔ بازیابها متدهای invoke، batch و stream یکسان کار میکند و یادگیری یکبار برای همیشه کافی است. دوم اینکه بازیاب در زنجیرهٔ LCEL قابلترکیب است؛ عبارت retriever | format_docs یعنی «بازیاب، بعد قالببندی» — همان چیزی که در بخش ۶ برای ساخت زنجیرهٔ RAG استفاده میکنیم.
معماری RAG: بازیاب کجا ایستاده است؟
قبل از ورود به کد، باید جایگاه بازیاب روی نقشه روشن شود. سیستم RAG دو چرخهٔ جدا دارد: یکبار ایندکسگذاری اسناد، و تکرار مسیر «بازیابی → پرامپت → پاسخ» برای هر پرسوجوی کاربر. بازیاب دقیقاً در ابتدای چرخهٔ دوم ایستاده و تعیین میکند مدل چه چیزی میبیند.
- 1
ایندکسگذاری (فقط یکبار)
اسناد به قطعه تقسیم میشوند، برای هر قطعه بردار ساخته میشود (POST /v1/embeddings) و در vector store ذخیره میگردد. این مرحله هنگام افزودن سند جدید تکرار میشود، نه با هر پرسوجو.
- 2
تبدیل پرسوجو به بردار
سؤال کاربر با همان مدل embedding ایندکس به بردار تبدیل میشود تا مقایسه ممکن باشد.
- 3
بازیابی k سند
بازیاب نزدیکترین (یا بهترین ترکیبی) اسناد را برمیگرداند؛ همهچیز این مقاله دربارهٔ کیفیت همین گام است.
- 4
ساخت پرامپت نظارتشده
اسناد با شمارهگذاری کنار سؤال در قالب پرامپت قرار میگیرند و مدل موظف میشود فقط از همین زمینه پاسخ بدهد.
- 5
تولید پاسخ با APX24
کل پرامپت به POST /v1/chat/completions ارسال میشود و مدل مثل claude-sonnet-5 پاسخ نهایی را با ذکر مبنای سند تولید میکند.
یک مشاهدهٔ مهم دربارهٔ هزینه: گامهای ۲ تا ۵ برای هر کاربر تکرار میشوند و توکن مصرف میکنند، اما بازیابِ خوب برعکسِ مدل، تقریباً رایگان است؛ حتی بازیابهای LLM-محور مثل MultiQuery هم اگر با مدل ارزان اجرا شوند سربار ناچیزی دارند. پس هر سندی که بازیابی خوب حذف میکند، مستقیماً توکن ورودیِ گران را کم میکند. در بخش ۷ همین منطق را با قیمت واقعی مدلها حساب میکنیم.
رابط BaseRetriever و متد invoke؛ چطور بازیاب سفارشی بسازیم؟
همهٔ بازیابهای LangChain از یک کلاس پایه میآیند: BaseRetriever در ماژول langchain_core.retrievers. چون این کلاس از Runnable ارث میبرد، متد استاندارد اجرا invoke است و متد قدیمی get_relevant_documents منسوخ شده و هشدار Deprecation میدهد. برای ساخت بازیاب اختصاصی هم فقط باید متد داخلی _get_relevant_documents را پیادهسازی کنید.
کِی اصلاً به بازیاب سفارشی نیاز پیدا میکنید؟ وقتی منبع دادهٔ شما API داخلی شرکت است، وقتی منطق دسترسی (مثل فیلتر مجوز کاربر) باید قبل از بازیابی اجرا شود، یا وقتی میخواهید نتایج چند سیستم جستجوی قدیمی شرکت را پشت یک رابط استاندارد بپوشانید. در همهٔ این حالتها بقیهٔ زنجیرهٔ RAG بدون تغییر باقی میماند و همین بزرگترین مزیت این انتزاع است.
بازیاب برداری؛ نقطهٔ شروع استاندارد با as_retriever
رایجترین بازیاب LangChain، همان as_retriever روی یک vector store است؛ کدی که تقریباً هر پروژهٔ RAG با آن شروع میشود. تنظیماتش دو خانواده دارند: search_type (الگوریتم جستجو) و search_kwargs (پارامترها مثل k). مقدار پیشفرض similarity با k=4 است و همین پیشفرض برای شروع کافی است.
| الگوریتم | چه میکند | بهترین کاربرد | پارامترهای کلیدی |
|---|---|---|---|
| similarity | نزدیکترین اسناد به بردار پرسوجو را برمیگرداند | شروع سریع؛ اکثر چتباتهای پرسشوپاسخ | k |
| mmr | شباهت به پرسوجو و تنوع نتایج را با هم توازن میکند | اسناد مشابه زیاد؛ مرور جامعتر موضوع | k، fetch_k، lambda_mult |
| similarity_score_threshold | فقط اسناد بالای آستانهٔ شباهت را برمیگرداند | حوزههای تنگ که سند نامرتبط مخرب است | k، score_threshold |
پنج بازیاب پیشرفته و اینکه هرکدام چه مشکلی را حل میکنند
بازیاب برداری در چهار حالت کم میآورد: پرسوجوی مبهم یا متفاوتنویسیشده، اسناد بلند که فقط بخشیشان مرتبط است، نیاز به دیدن سند کامل بهجای قطعه، و همزمانیِ اهمیت کلمهٔ دقیق و معنا. LangChain برای هرکدام یک بازیاب ترکیبی دارد که همه از همان رابط BaseRetriever پیروی میکنند. importهای زیر برای LangChain 0.3.x است؛ وضعیت 1.x را در کالآوت انتهای همین بخش ببینید.
| مورد | مشکلی که حل میکند | نیاز به LLM اضافه | هزینهٔ نسبی | تأخیر نسبی | مناسب برای |
|---|---|---|---|---|---|
| MultiQueryRetriever | پرسوجوی مبهم و تفاوت واژگان کاربر و اسناد | بله — یک درخواست برای تولید واریانتها | متوسط | متوسط | جستجوی طبیعی کاربران با واژگان متنوع |
| ContextualCompressionRetriever | زمینهٔ شلوغ و اسناد کمربط در خروجی | با EmbeddingsFilter خیر — با LLMChainExtractor بله | کم (با EmbeddingsFilter) | کم تا متوسط | کاهش توکن ورودی و هزینهٔ مدل گران |
| ParentDocumentRetriever | سند بلند که قطعهٔ کوچک بافتار کافی ندارد | خیر | کم | کم | مستندات، قرارداد و قوانین بلند |
| EnsembleRetriever | اهمیت همزمان کلمهٔ دقیق و معنا (مثل فارسی و کد محصول) | خیر | کم — فقط دو جستجو | کم تا متوسط | جستجوی ترکیبی BM25 + برداری |
| SelfQueryRetriever | پرسوجوهایی که فیلتر ساختاری دارند (تاریخ، دسته، مبلغ) | بله — برای ساخت فیلتر metadata | متوسط | متوسط | کاتالوگ محصول و آرشیو با metadata غنی |
اتصال بازیاب به مدلهای APX24؛ از بازیابی تا پاسخ
چون APX24 یک API سازگار با OpenAI است، در LangChain فقط دو چیز عوض میشود: api_key با کلید sk-apx-... و base_url با https://api.apx24.ir/v1. کلاسهای ChatOpenAI و OpenAIEmbeddings دستنخورده میمانند و همهٔ الگوهایی که برای OpenAI بلدید — شامل همین بازیابها — بدون بازنویسی کار میکنند.
کدام مدل APX24 را برای کدام مرحلهٔ RAG انتخاب کنیم؟
در سیستم RAG دو جایگاه مجزا برای مدل دارید و انتخاب هوشمندانه یعنی برای هر جایگاه مدل متفاوت. جایگاه اول پرتکرار و ساده است: تولید واریانت پرسوجو در MultiQuery و ساخت فیلتر در SelfQuery — مدل ارزان اینجا کافی است. جایگاه دوم کمتعداد اما حساس است: تولید پاسخ نهایی از روی اسناد — کیفیت اینجا پول است. قیمتهای زیر بهازای یک میلیون توکن و به تومان است.
از همین جدول یک قانون عملی درمیآید: چون بخش عمدهٔ هزینهٔ RAG در توکن ورودی است، ارتقای بازیاب (k کوچکتر و فشردهسازی بهتر) از «تعویض مدل ارزانتر» مؤثرتر و کمریسکتر است. ترکیب پیشنهادی تحریریه برای شروع: gpt-6-luna در MultiQuery و claude-sonnet-5 در تولید پاسخ؛ اگر پاسخها ساده و پرتکرارند، حتی کل زنجیره را با مدل اقتصادی اجرا کنید و فقط برای سؤالهای سخت مدل گران را صدا بزنید.
سه خطای رایج و یک تصور غلطِ پرهزینه
این سه خطا بیش از ۹۰ درصد مشکلهایی است که در اجرای اولیهٔ بازیابها پیش میآید و هر سه در چند دقیقه قابلحل هستند؛ فقط باید نشانهها را بشناسید تا سراغ راهحل اشتباه نروید.
کاربرد واقعی: بازیابها در دو سناریوی بازار ایران
برای متن فارسی دو نکتهٔ عملی وجود دارد که در منابع انگلیسی کمتر دیده میشود. اول، BM25 پیشفرض روی فاصله تقسیم میکند و پسوندهای فارسی (ها، ی، تر) و اختلاف «ي/ی» و «ك/ک» عربی-فارسی را نمیگیرد؛ پس حداقل یک نرمالساز ساده لازم است. دوم، در تجربهٔ تحریریه ترکیب وزندار BM25 + برداری با شروع ۰.۴/۰.۶ برای فارسی نقطهٔ شروع مطمئنی است؛ اگر دیتای ارزیابی دارید این وزنها را روی همان tune کنید.
جمعبندی و مسیر بعدی شما
بازیاب، لایهای است که کیفیت هر سیستم RAG در آن تعیین میشود و LangChain همین لایه را به یک استاندارد تعویضپذیر تبدیل کرده است. شما الان رابط BaseRetriever و متد invoke را میشناسید، سه الگوریتم as_retriever را تنظیم میکنید، بازیابهای MultiQuery و Compression و ParentDocument و Ensemble را از هم تشخیص میدهید و میتوانید همه را در یک زنجیرهٔ LCEL به مدلهای APX24 وصل کنید. فقط یادتان باشد: k بزرگتر جواب نیست، هزینهٔ واقعی در توکن ورودی است و برای فارسی، نرمالسازی و ترکیب BM25 + برداری نقطهٔ شروع درست است.
- کلید API بسازید و مثال بخش ۶ را روی دادهٔ واقعی خودتان اجرا کنید.
- یک مجموعهٔ ۱۰ پرسوجویی واقعی از کاربرانتان بسازید و با آن k و search_type را tune کنید.
- برای متن فارسی، نرمالساز بخش ۹ را به مسیر ایندکس و پرسوجو اضافه کنید.
- خروجی بازیاب را لاگ کنید تا اولین مجموعهٔ ارزیابی شما ساخته شود.
- برای قدم بعدی، مقالات rerankers و rag-evaluation را بخوانید تا بازیابیتان قابلسنجش شود.





