DARK Learn
مسیر یادگیری

متخصص مدل‌های زبانی بزرگ (LLM Engineer)

نقشه راه کامل، به‌روز و معتبر برای تسلط بر مدل‌های زبانی بزرگ از مبانی NLP تا آموزش، تنظیم، استقرار و پژوهش

1

پیش‌نیازهای برنامه‌نویسی و یادگیری ماشین (Python & ML Fundamentals)

پایتون پیشرفته، NumPy، Pandas، Scikit-learn، مفاهیم پایه یادگیری نظارت‌شده، گرادیان کاهشی، overfitting و cross-validation

2

مبانی یادگیری عمیق (Deep Learning Essentials)

پرسپترون، شبکه‌های عصبی چندلایه، توابع فعال‌سازی، بک‌پراپگیشن، فریم‌ورک PyTorch، کلاس‌های nn.Module، DataLoader و حلقه آموزش

3

پردازش زبان طبیعی کلاسیک (Classical NLP)

توکنایزیشن، stem/lemma، N-gram، TF-IDF، word2vec، GloVe، مدل‌های sequence (RNN، LSTM، GRU)، معماری encoder-decoder و مفهوم attention

4

معماری Transformer (Core Architecture)

کامل Self-Attention، Multi-Head Attention، Positional Encoding، LayerNorm، Feed-Forward، Encoder و Decoder stacks، پیاده‌سازی یک Transformer ساده با PyTorch

5

مدل‌های زبانی از پیش آموزش‌دیده (Pre-trained Language Models)

اهداف پیش‌آموزش: Causal LM (GPT)، Masked LM (BERT)، Seq2Seq (T5)؛ توکنایزرهای BPE، WordPiece، SentencePiece؛ مطالعه GPT-2، BERT، T5 در سطح معماری

6

مقیاس‌پذیری و قوانین Scaling (Scaling & Infrastructure)

Scaling Laws (Kaplan, Chinchilla)، داده‌های با کیفیت، آموزش توزیع‌شده (Data/Model Parallelism)، ZeRO، FSDP، mixed precision (FP16/BF16)، FlashAttention

7

مهندسی پرامپت و یادگیری درون‌متنی (Prompt Engineering & In-Context Learning)

طراحی پرامپت، Few-shot/Zero-shot، Chain-of-Thought، ReAct، Tree of Thoughts، دستورالعمل‌ها و قالب‌ها، ارزیابی خروجی

8

تنظیم دقیق مدل‌های بزرگ (Fine-tuning & Alignment)

Full Fine-tuning، Fine-tuning دستورالعملی (Instruction Tuning)، RLHF (PPO، DPO)، Constitutional AI، Direct Preference Optimization، تکنیک‌های کاهش توهم

9

تنظیم کارآمد پارامترها (Parameter-Efficient Fine-Tuning - PEFT)

LoRA، QLoRA، Adapter، Prefix/Prompt Tuning، IA3، مقایسه روش‌ها، ادغام با quantization، کار با کتابخانه‌های HuggingFace PEFT و bitsandbytes

10

بهینه‌سازی برای استنتاج (Inference Optimization)

Quantization (GPTQ, AWQ, GGUF)، Pruning، Knowledge Distillation، Speculative Decoding، Continuous Batching، موتورهای استنتاج vLLM و TensorRT-LLM

11

بردارها و بازیابی (Embeddings & Retrieval - RAG)

مدل‌های embedding (text-embedding-ada، BGE، GTE)، جستجوی برداری (FAISS، Chroma، Pinecone)، Retrieval-Augmented Generation، chunking و ارزیابی retrieval

12

عامل‌های هوشمند و ابزارها (Agents & Tool Use)

ReAct agents، function calling، برنامه‌ریزی و اجرا، AutoGPT، LangChain/LlamaIndex، حافظه، جستجوی وب، کد اینترپرتر و محیط‌های multi-agent

13

مدل‌های چندوجهی و پیشرفته (Multimodal & Recent Architectures)

LLaVA، GPT-4V، مدل‌های تصویر-به-متن، Mixture of Experts (MoE)، مدل‌های state-space (Mamba)، long context (RoPE extension)، و معماری‌های نوظهور

14

ارزیابی و تست (Evaluation & Red Teaming)

معیارهای Perplexity، BLEU، ROUGE؛ بنچمارک‌ها (MMLU، HumanEval، HELM)؛ تست انسانی، شناسایی توهم و bias، حملات خصمانه (jailbreaking)، red teaming

15

MLOps برای LLMها (LLMOps)

ثبت مدل (MLflow، HuggingFace Hub)، پرامپت ورژنینگ، CI/CD برای LLM، مانیتورینگ (drift، toxicity، latency)، تخمین هزینه، ابزارهای LangSmith، W&B

16

استقرار و سرویس‌دهی (Deployment & Serving)

FastAPI + vLLM، Ray Serve، Docker/Kubernetes، Serverless (Modal، Banana)، تعادل بار، auto-scaling، caching و streaming

17

پروژه‌های عملی و نمونه‌کار (Projects & Portfolio)

چت‌بات سفارشی با RAG، عامل جستجوی هوشمند، تنظیم دقیق مدل روی داده فارسی/انگلیسی، طراحی و مستندسازی پروژه‌های واقعی

18

مسیر شغلی و پژوهش (Career & Research Path)

منابع برتر (آندریژ کارپاتی، Lilian Weng)، دنبال کردن مقالات (ArXiv)، همایش‌ها (NeurIPS, ICML, ACL)، ساخت پورتفولیو، موقعیت‌های شغلی: LLM Engineer، NLP Researcher، Prompt Engineer