LLMs Fine-Tuning تطبيق عملي على ال

هل تريد تعلم كيفية تدريب نماذج لغوية ضعيفة الأداء, و تتعرف على عدد من الحيل لتحسينها و خاصة للغة العربية. في هذا الكورس, نتعلم بدءاً من تعريف المشكلة, كيف نجمع بيانات بشكل أوفر, كيف نحسن النماذج و كيف نختبرها. في نهاية الفيديو, ستتعلم : • Structured Outputs • Knowledge Distillation • PEFT Finetuning • Finetuning Solutions • LLM Finetuning • LLM Deploying • Cost Estimation ---- Chapters: by @alm3tasem 00:00:00 Welcome 00:01:49 introducing finetuning LLM / definitions 00:16:41 use case details 00:21:34 environment setup (colab) 00:29:31 choosing the base model (Qwen2.5-1.5B-Instruct) 00:36:04 setup structure output using Pydantic (task 1 - classification) 01:02:12 evaluation base model (task 1) 01:14:58 setup structure output using Pydantic (task 2 - translation Ar - En) 01:19:53 evaluation base model (task 1) 01:22:11 evaluating the task using OpenAI API 01:27:19 preparing a dataset for finetuning 01:55:45 finetuning framworks choices 02:04:10 using LLaMA-Factory for finetuning 02:25:07 LLaMA-Factory configurations (yaml file) 02:46:51 running finetuning 02:55:10 evaluating finetuned model 03:02:25 cost estimation 03:11:23 using vLLM 03:24:27 load test using locust 03:41:36 recap 03:47:45 outro ---- Notebook Codes: https://colab.research.google.com/drive/1tf6pjAwz2ZJdv1IcP6YcIrLFa4iW6svT?usp=sharing datasets: https://drive.google.com/drive/folders/1dXNNFNg_RKMYC9nxF59d0LAt67-T4oDf?usp=sharing models: https://drive.google.com/drive/folders/1IIEB8BaQpMf8P5BQCmMGpdmOQst7OxHf?usp=sharing LLaMA-Factory https://github.com/hiyouga/LLaMA-Factory WandB https://wandb.ai/ HuggingFace https://huggingface.co/ Qwen2.5-1.5B-Instruct Model https://huggingface.co/Qwen/Qwen2.5-1.5B-Instruct