Запуск Deepseek-v3 671b на своем сервере

В этом видео я покажу, как запустить модель DeepSeek-V3 на своём сервере. DeepSeek-V3 — это мощная модель с 671 миллиардом параметров, и я расскажу, как её настроить и запустить на процессоре с 48 ядрами и 512 ГБ оперативной памяти. Вы узнаете, почему я выбрал запуск на процессоре, а не на видеокартах, и какие преимущества это дает. Для запуска используется проект Ollama. Вы увидите, как загружаются веса модели, как происходит процесс инференса (вывода) и с какой скоростью модель генерирует ответы. Арендую видеокарты в immers.cloud. По этой ссылке получите бонус 20% на первое пополнение: https://immers.cloud/signup/r/20240522-6407208-835/ Мой телеграм канал: https://t.me/vitaly_kuliev_it В rutube дублирую видео. Подписывайтесь на случай закрытия ютуба: https://rutube.ru/channel/23479346/ Официальный чат от разработчиков с deepseek v3 и r1. Работает бесплатно и доступен из России. https://chat.deepseek.com/ DeepSeek V3 модель на huggingface : https://huggingface.co/deepseek-ai/DeepSeek-V3 DeepSeek модели на сайте ollama: https://ollama.com/library/deepseek-v3 https://ollama.com/library/deepseek-r1:671b Сравнение различных провайдеров API deepseek: https://openrouter.ai/deepseek/deepseek-chat/providers fireworks - провайдер deepseek с хорошей скоростью работы: https://fireworks.ai/models/fireworks/deepseek-v3/playground #DeepSeek #нейросети #искусственныйинтеллект #Ollama #Fireworks #серверы #видеокарты #процессоры #AI #машинноеобучение Реклама. ООО «ДТЛ». ИНН 9717073792. erid: 2W5zFHyn7Rr