Ollama + Open WebUI : l'IA LLM opensource, gratuite, auto-hébergée et sécurisée sous Docker !

Ollama est un projet open source qui vise à rendre les grands modèles de langage (LLM) accessibles à tous. Il fournit un moyen simple de créer, d'exécuter et de gérer des LLM, ainsi qu'une bibliothèque de modèles pré-construits qui peuvent être facilement utilisés dans une variété d'applications. Ses avantages: - API simples - Bibliothèque de modèles pré-construits - Flexible - Open source Aujourd'hui je vous le présente, combiné à une interface graphique nommée Open WebUI ! 📱 Suivez moi ! 💻 ►https://lhub.to/GuiPoM 🔗 Les liens et commandes 🔗 ► Ollama: https://ollama.com/ ► Open WebUI: https://openwebui.com/ ► Docker compose de documentation: https://github.com/open-webui/open-webui/blob/main/docker-compose.yaml ► Ollama pour Windows (preview) : https://ollama.com/blog/windows-preview 📃 Sommaire 📃 00:00 Ollama est un projet open source qui vise à rendre les LLM accessibles à tous 01:00 Le coût des LLM, la sécurité et la confidentialité: Ollama résoud une partie de ces problèmes ! 02:20 Exemple d'utilisation: la domotique via Assist de Home Assistant 03:50 Exemple d'utilisation: une aide au développement logiciel 04:50 Dans cette vidéo: déployer Ollama et Open WebUI pour expérimenter sur votre matériel. Il vous faudra quand même de grosses ressources surtout pour les modèles performants. 06:10 On va utiliser encore une fois Portainer et un déploiement via Docker Compose 06:48 Le projet Ollama: https://github.com/ollama/ollama 07:00 Le projet Open WebUI: https://github.com/open-webui/open-webui 08:30 On va s'inspirer du fichier docker compose disponible à titre de documentation, composé de deux services, ollama et open-webui 15:25 On déploie les conteneurs et on observe les logs qui indiquent les capacités matérielles détectées 17:45 On accède au server Open WebUI et on crée un nouveau compte local 18:57 Première connexion à Open WebUI et découverte de l'interface: vous ne devriez pas être perdu si vous utilisez déjà ChatGPT 20:45 Ollama et sa bibliothèque de modèles supporté par le projet: installation et utilisation de tinyllama 26:25 l'API Ollama 28:35 On améliore les performances avec l'accélération AVX, AVX2 et surtout Cuda ! 31:19 Et en production ? diun, réseau docker, et utilisation du reverse proxy SWAG si on veut rendre disponible ce service sur internet, ou aux autres machines ? 38:20 Vous pouvez tester des LLMs très efficaces comme Mixtral, mais il vous faudra du matériel très performant