Moniteur d’activité pour modèles d’IA locaux
🔍 En bref :
- Identification des modèles d’IA chargés en mémoire.
- Suivi de l’utilisation de la RAM, du CPU, du GPU et du Neural Engine.
- Déchargement des modèles inactifs sans ouvrir l’application source.
- Inventaire des fichiers de poids de modèles stockés sur le disque.
- Intégration dans la barre de menu pour un suivi en temps réel.
🔍 En détail :
LLM Radar est un utilitaire conçu pour surveiller et gérer les modèles de langage locaux exécutés sur un Mac. Le logiciel centralise la visibilité sur diverses applications et runtimes, notamment Ollama, LM Studio, MLX, llama.cpp et Core ML.
L’outil permet de visualiser précisément la quantité de mémoire vive (RAM) occupée par chaque modèle, en distinguant les poids du modèle, le cache KV et la surcharge de l’application. Il fournit également des données sur la consommation énergétique et les thermiques, en précisant si le modèle utilise le GPU ou le Neural Engine (ANE).
Le logiciel propose une fonctionnalité de nettoyage du disque en identifiant les fichiers de modèles volumineux non utilisés, permettant ainsi de libérer de l’espace. Depuis la barre de menu, l’utilisateur peut surveiller l’activité globale et décharger des modèles pour récupérer de la mémoire instantanément.
Une période d’essai complète de 7 jours est proposée pour tester l’ensemble des fonctionnalités.
Gratuit / Payant https://llm-radar-eta.vercel.app/
Views: 0
