30 مقاله در این دستهبندی
LangSmith لاگهای اپلیکیشن LLM شما را به دیتاست ارزیابی تبدیل میکند. با create_dataset و create_examples (یا POST /api/v1/datasets و /api/v1/examples/bulk در REST) دیتاست بسازید، با فیلتر کردن traceها و افزودن metadata آن را پالایش کنید و سپس با evaluate() روی مدلهای سازگار با OpenAI — مانند مدلهای APX24 — رگرسیون اجرا کنید.
کالکشن در Milvus مثل جدول است؛ با create_collection(name, dimension) در یک خط ساخته میشود و با اسکیمای سفارشی کنترل کامل فیلدها و ایندکس دارید. جستجو فقط بعد از Load ممکن است؛ پارتیشن (سقف ۱۰۲۴) مقیاس میدهد و Alias تعویض بدون Downtime ممکن میکند.
AutoGen به عاملها اجازه میدهد کد تولیدشدهٔ LLM را واقعاً اجرا کنند. در نسخهٔ ۰.۴+ عامل CodeExecutorAgent بلاکهای کد را در Docker یا لوکال اجرا و خروجی را به مکالمه برمیگرداند؛ در ۰.۲ با UserProxyAgent و code_execution_config. برای APX24، مدل را با OpenAIChatCompletionClient و base_url=https://api.apx24.ir/v1 پیکربندی کنید.
بازیاب در LangChain رابط استانداردی است که پرسوجوی متنی میگیرد و سندهای مرتبط برمیگرداند؛ پایهٔ آن BaseRetriever است و با invoke() اجرا میشود. بازیابهای MultiQuery، Compression و Ensemble مشکلات پرسوجوی مبهم، زمینهٔ شلوغ و جستجوی ترکیبی را حل میکنند. اتصال به APX24 فقط با تغییر base_url و کلید انجام میشود.
در ChromaDB هر رکورد میتواند متادیتای کلید-مقداری داشته باشد و پارامتر where نتایج get و query را روی همین فیلدها محدود میکند. تساوی کوتاهنویسی یا $eq، مقایسهٔ عددی $gt/$gte/$lt/$lte، فهرستها $in/$nin و ترکیبها $and/$or هستند؛ هر where در سطح بالا فقط یک کلید میپذیرد. where_document جستجوی متنی را اضافه میکند و n_results پس از فیلتر اعمال میشود. همهٔ کدها روی chromadb 1.5.9 اجرا شدهاند.
Milvus برای سه نوع بردار (float/dense، binary، sparse) خانوادهٔ ایندکس جداگانه دارد. FLAT و BIN_FLAT جستجوی دقیق با recall کامل میدهند؛ IVF_FLAT تعادل سرعت/دقت است؛ HNSW سریعترین گزینهٔ پر recall با مصرف حافظهٔ بالا؛ IVF_SQ8/IVF_PQ و HNSW_SQ/PQ برای RAM محدود؛ DISKANN/AISAQ برای دادهٔ بزرگتر از RAM؛ GPU_CAGRA و خانوادهٔ GPU برای سختافزار گرافیکی؛ و SPARSE_INVERTED_INDEX برای بردار sparse. ایندکسهای اسکالر (INVERTED، BITMAP، STL_SORT، Trie) فیلترینگ متادیتا را تا ۳۰ برابر سریع میکنند.
در Weaviate کوئریها با GraphQL و از طریق POST /v1/graphql اجرا میشوند: Get اشیاء را با nearText، bm25، hybrid و فیلتر where برمیگرداند و Aggregate آمار کالکشن را میدهد. فرادادهها مثل id و distance و score در _additional هستند. مهم: GraphQL منسوخ شده و در Weaviate Cloud از ۱ مه ۲۰۲۷ خاموش میشود؛ جایگزین: REST Search API و کلاینتهای v4 (gRPC).
ایندکسگذاری در Pinecone چهار تصمیم دارد: نوع ایندکس (پیشفرض ۲۰۲۶: serverless؛ podها legacy)، معیار فاصله (dense: cosine پیشفرض؛ sparse: فقط dotproduct)، dimension برابر خروجی مدل embedding (۱۵۳۶ برای text-embedding-3-small) و namespace برای multi-tenancy. metric و dimension پس از ساخت قفل میشوند؛ بردار را با POST /v1/embeddings اپکس۲۴ بگیرید و با vectors/upsert ذخیره کنید.
Weaviate معماری ماژولار دارد: هستهٔ پایه فقط وکتور ذخیره و جستجو میکند و هر قابلیت اضافه (برداریسازی، RAG، reranking) یک ماژول اختیاری است. ماژولها با ENABLE_MODULES فعال میشوند، کلیدها با <PROVIDER>_APIKEY یا هدر X-<Provider>-Api-Key پاس میشوند و از v1.40 vectorizer باید per-collection ست شود. هدر X-OpenAI-Baseurl ماژولهای OpenAI را به هر API سازگار با OpenAI (مثل اپکس۲۴) وصل میکند.
فیلترهای Qdrant وقتی روی فیلد payload ایندکس نداشته باشند به اسکن وسیع میرسند و کند میشوند. با ساخت Payload Index مناسب (keyword، integer، datetime و…)، استفاده از Query API بهجای points/search و تنظیم full_scan_threshold_kb و hnsw_ef، پرسوجوهای فیلترشده سریع میشوند و Filterable HNSW کیفیت بازیابی را حفظ میکند.
در CrewAI واگذاری وظایف پیشفرض خاموش است. با allow_delegation=True هر ایجنت دو ابزار Delegate Work و Ask Question میگیرد؛ برای پروژههای پیچیده، Process.hierarchical با manager_llm الزامی است و مدیر تقسیم کار و اعتبارسنجی را انجام میدهد. اتصال به APX24 با کلاس LLM و base_url سازگار با OpenAI انجام میشود و هزینه با تفکیک مدل مدیر/متخصص کنترل میشود.
namespace پارتیشن ایزولهٔ داخل یک ایندکس Pinecone است: upsert و query با فیلد namespace فقط همان بخش را میبینند و بدون آن، "__default__" استفاده میشود. برای هر مشتری یک namespace بسازید تا داده ایزوله بماند، offboarding با delete_all تقریباً آنی باشد و هزینهٔ کوئری (۱ RU به ازای هر ۱GB) متناسب با اندازهٔ همان namespace بماند.
ChromaDB فقط بردارها را ذخیره و جستوجو میکند؛ تبدیل متن به بردار کارِ تابع امبدینگ است. اگر هنگام create_collection تابعی ندهید، مدل محلی all-MiniLM-L6-v2 (۳۸۴ بعد) انتخاب میشود. برای امبدینگ حرفهایتر، OpenAIEmbeddingFunction را با api_key و api_base مربوط به سرویس سازگار با OpenAI (مانند https://api.apx24.ir/v1) پیکربندی کنید؛ برای سرویسهای دیگر، کلاس EmbeddingFunction را با متد __call__ سفارشی بسازید. فقط مدل را وسط کار عوض نکنید — ابعاد بردار باید ثابت بماند.
چت گروهی (Group Chat) در AutoGen چند عامل با نقشهای مکمل را در یک گفتوگوی مشترک کنار هم میگذارد و GroupChatManager نوبتدهی و توقف را مدیریت میکند. در این راهنما با pyautogen یک تیم سهنفره (برنامهریز، کدنویس، بازبین) روی API آپکس۲۴ میسازید: پیکربندی base_url سازگار با OpenAI، انتخاب گوینده، مکانیزم TERMINATE، رفع خطاهای ۴۰۱/۴۰۴/۴۲۹ و محاسبهٔ دقیق هزینهٔ توکن با قیمت روز آپکس۲۴.
LangSmith هر درخواست اپلیکیشن LLM را به یک trace ساختاریافته تبدیل میکند: درختی از runها با ورودی/خروجی، latency، توکن و خطا. فعالسازی فقط دو متغیر محیطی است و برای APX24 کافی است کلاینت OpenAI را با base_url اپکس۲۴ بسازید و با wrap_openai بپوشانید. سپس با UI و REST API تأخیر (first_token_time)، خطا (status=error) و هزینه (توکن × قیمت هر ۱M) را تحلیل میکنید.
در CrewAI دو الگوی فرآیند وجود دارد: sequential (پیشفرض) که تسکها را بهترتیب اجرا میکند و خروجی هر تسک را به تسک بعدی میدهد، و hierarchical که یک مدل مدیر (manager_llm) تسکها را پویا بین عاملها تخصیص و بازبینی میکند و تعیین آن الزامی است. برای خطوط کاری خطی sequential و برای هماهنگی پویا hierarchical را انتخاب کنید و با کلاس LLM عاملها را به endpoint سازگار با OpenAI اپکس۲۴ وصل کنید.
در LangGraph، یال شرطی تعیین میکند بعد از یک گره کدام گره اجرا شود و این تصمیم را به زمان اجرا موکول میکند. شما یک تابع روتر مینویسید که از روی state مقصد را برمیگرداند و آن را با add_conditional_edges به گرهٔ مبدأ وصل میکنید. خروجی روتر میتواند یک نام گره، یک فهرست (اجرای موازی در superstep بعدی) یا END باشد؛ با path_map میتوانید کلیدهای دلخواه را به نام گره نگاشت کنید. یال شرطی state را تغییر نمیدهد — اگر تغییر state و مسیریابی را با هم میخواهید از Command استفاده کنید. در این مقاله یک روتر واقعی تیکت پشتیبانی میسازیم که دستهبندی را با مدل اقتصادی از طریق API سازگار با OpenAI اپکس۲۴ انجام میدهد و بر اساس آن بین تیم فنی، تیم مالی و پایان گراف مسیریابی میکند.
State در LangGraph حافظهٔ کاری گراف شماست: یک اسکیمای TypedDict که هر نود آن را میخواند و فقط بهروزرسانی جزئی برمیگرداند. LangGraph بهروزرسانیها را با reducer ترکیب میکند (پیشفرض: overwrite، برای پیامها: add_messages) و با checkpointer و thread_id میتوانید وضعیت را بین فراخوانیها نگه دارید. در این مقاله با کد پایتون اجرایی و اتصال به API هوش مصنوعی APX24 همهٔ اینها را میسازید.
ترکیبگر پاسخ، آخرین حلقهٔ RAG در LlamaIndex است: نودهای بازیابیشده را با LLM به پاسخ نهایی تبدیل میکند. انتخاب response_mode مشخص میکند چند فراخوانی LLM انجام شود: refine به ازای هر نود یک فراخوانی، compact با چسباندن نودها معمولاً ۱-۲ فراخوانی، tree_summarize برای خلاصهٔ کلی. با OpenAILike و api_base=https://api.apx24.ir/v1 همین ترکیبگر روی مدلهای اپکس۲۴ مثل claude-sonnet-5 کار میکند.
با فراخوانی interrupt() درون یک نود، اجرای گراف LangGraph متوقف و یک payload (سؤال/زمینه) به کلاینت برگردانده میشود؛ وضعیت در چکپوینتر ذخیره میشود و با graph.invoke(Command(resume=...), config) ادامه مییابد. مقدار resume دقیقاً همان مقدار بازگشتی interrupt() است. الزامات: checkpointer و thread_id. هشدار: پس از resume، نود از ابتدا اجرا میشود، پس side effects را بعد از interrupt بگذارید.
CrewAI سه فیلد متنی role، goal و backstory را به system prompt هر ایجنت تزریق میکند تا شغل، هدف قابلارزیابی و شخصیت او ساخته شود. هر ایجنت میتواند مدل مستقل داشته باشد؛ با LLM(model="openai/<model-id>", base_url="https://api.apx24.ir/v1", api_key="sk-apx-...") به APX24 وصل شوید، ایجنتها را در Crew بگذارید و با kickoff اجرا کنید. مدل سبک برای نقشهای پرتکرار و مدل قوی برای تحلیل، هزینه را حداکثر نصف میکند.
Node Parser در LlamaIndex مرحلهٔ «تقسیم» در خط ورود دادهٔ RAG است: سند را به Nodeهایی میشکند که هر کدام متن + metadata + relationships دارند. پیشفرض کار SentenceSplitter (۱۰۲۴ توکن، همپوشانی ۲۰) است؛ برای Markdown از MarkdownNodeParser و برای مرز معنایی از SemanticSplitter استفاده کنید. چون APX24 سازگار با OpenAI است، با OpenAILike و api_base کل خط تولید به LLM واقعی وصل میشود.
ایندکس در LlamaIndex ساختار دادهای است که nodeهای سند شما را برای «بازیابی» سازماندهی میکند؛ انتخاب ایندکس یعنی انتخاب استراتژی پیدا کردن متن مرتبط. VectorStoreIndex برای جستوجوی معنایی، SummaryIndex و TreeIndex برای خلاصهسازی، KeywordTableIndex برای کلیدواژهٔ دقیق، DocumentSummaryIndex برای مجموعههای چندسندی و PropertyGraphIndex برای روابط. همه با یک LLM سازگار با OpenAI مثل APX24 کار میکنند و با persist/save دوبارهسازی نمیخواهند.
Query Engine در LlamaIndex رابط آمادهٔ پرسشوپاسخ روی دادههای شماست: بازیابی معنایی (Retriever) + سنتز پاسخ با LLM. با index.as_query_engine() ساخته و با .query() اجرا میشود. برای APX24، کلاس OpenAILike را با api_base=https://api.apx24.ir/v1 و کلید sk-apx- پیکربندی کنید؛ هر پرسوجو یک POST /v1/chat/completions است و توکنهای ورودی (پرامپت + K قطعه) هزینه را تعیین میکنند.
LCEL (LangChain Expression Language) سینتکس اعلانی لنگچین برای ساخت زنجیرههای LLM است: هر جزء یک Runnable با متدهای invoke/stream/batch است و اپراتور | آنها را به RunnableSequence تبدیل میکند. در این مقاله با langchain-openai و base_url=https://api.apx24.ir/v1 به مدلهای اپکس۲۴ وصل میشویم، اولین زنجیره را میسازیم، استریم و batch میگیریم، با RunnableParallel زنجیرهٔ RAG میسازیم و با with_fallbacks/with_retry آن را production-ready میکنیم.
کالبک در لنگچین یعنی کد شما در لحظههای کلیدی اجرا (شروع و پایان مدل، هر توکن، ابزار، خطا) صدا زده شود. یک کلاس از BaseCallbackHandler بسازید، متدهای on_* لازم را بازتعریف کنید و با config={'callbacks': [...]} به invoke بدهید. همین سیستم پایهٔ استریم توکن، لاگ مصرف توکن و LangSmith است و با endpoint سازگار با OpenAI اپکس۲۴ هم بدون تغییر کد کار میکند.
ایجنت LangChain = LLM + ابزار + حلقه. مدل در هر دور یا پاسخ نهایی میدهد یا tool_calls صادر میکند؛ نتیجهٔ ابزار به تاریخچه برمیگردد و دور تکرار میشود. در v1 استاندارد این حلقه create_agent روی LangGraph است و AgentExecutor به legacy رفته. برای اپکس۲۴ فقط ChatOpenAI را با base_url="https://api.apx24.ir/v1" تنظیم کنید؛ حافظه با checkpointer و thread_id و هزینه با تعداد دورها ضرب میشود.
مدلهای زبانی stateless هستند؛ «حافظه» یعنی ذخیره و ارسال دوبارهٔ تاریخچهٔ پیامها در هر فراخوانی. الگوی رسمی امروز، checkpointer در LangGraph است: InMemorySaver برای توسعه، PostgresSaver برای production و thread_id برای جداکردن مکالمهها. کلاسهای قدیمی مثل ConversationBufferMemory از v0.3.x منسوخاند؛ و چون تاریخچه هر بار پرداخت میشود، با window memory و مدل اقتصادی تا ۳۰ برابر صرفهجویی کنید.
زنجیرهٔ LangChain خط لولهٔ «قالب پرامپت ← مدل ← پارسر» است که با عملگر pipe ساخته میشود و هر جزءش یک Runnable با متدهای invoke/stream/batch است. چون گیتوی APX24 سازگار با OpenAI است، با یک ChatOpenAI و base_url=https://api.apx24.ir/v1 کل خط لوله بدون تغییر معماری اجرا میشود؛ این مقاله استریم، حافظه، خطاها و هزینهٔ واقعی را هم پوشش میدهد.
Payload در Qdrant متادیتای JSON هر نقطه است و بدون ایندکس، هر فیلتر یعنی اسکن کامل payload. با PUT /collections/{collection_name}/index برای هر فیلد فیلترشونده یک payload index بسازید (انواع keyword، integer، float، bool، datetime، uuid، geo، text). ساخت ایندکس پسزمینهای است و بهتر است قبل از درج داده انجام شود؛ فقط فیلدهای پرکاربرد در فیلترها را ایندکس کنید.