Un outil pour optimiser les modèles LLM sur votre matériel
🔍 En bref :
- Outil en ligne de commande pour adapter les modèles LLM à votre matériel.
- Détecte votre hardware (RAM, CPU, GPU) et évalue les modèles.
- Prend en charge plusieurs fournisseurs de runtime (Ollama, llama.cpp, MLX, Docker Model Runner, LM Studio).
- Interface TUI interactive et mode CLI classique.
- Estimation de la vitesse et sélection dynamique de la quantification.
🔍 En détail :
llmfit est un outil en ligne de commande conçu pour optimiser les modèles de langage (LLM) en fonction des capacités matérielles de votre système. Il détecte automatiquement votre hardware, y compris la RAM, les cœurs CPU et la VRAM GPU, et évalue les modèles en fonction de la qualité, de la vitesse, de l’adéquation et de la longueur du contexte.
L’outil prend en charge plusieurs fournisseurs de runtime, tels qu’Ollama, llama.cpp, MLX, Docker Model Runner et LM Studio. llmfit propose une interface utilisateur en mode texte (TUI) interactive par défaut, ainsi qu’un mode CLI classique pour ceux qui préfèrent une approche plus simple. Il supporte également les configurations multi-GPU, les architectures MoE, la sélection dynamique de la quantification et l’estimation de la vitesse.
Parmi les fonctionnalités notables, on trouve la possibilité de planifier les exigences matérielles pour une configuration de modèle sélectionnée, y compris les recommandations de VRAM et de RAM, ainsi que les chemins d’exécution réalisables. llmfit offre également un tableau de bord web pour les recommandations et l’exploration des modèles, et une API REST pour une intégration plus poussée.
L’outil est open source et peut être installé via Homebrew, Docker ou Podman, ou compilé à partir de la source. llmfit est conçu pour être facile à utiliser, avec des commandes simples pour la recherche, la recommandation et l’évaluation des modèles.
Gratuit
https://www.llmfit.org
Views: 1
