Funk-lab/admin/lm_studio.md

LM Studio — Commandes d'administration

Note

: L'inférence GPU est désormais assurée par llama-server (voir admin/llama_server.md). LM Studio reste installé sur gpu-01 uniquement pour la gestion des modèles (lms get, lms ls). Le service lm-studio est désactivé.

---

Gestion des modèles (lms CLI)

# Lister les modèles installés
lms ls

# Télécharger un modèle depuis HuggingFace
lms get https://huggingface.co/bartowski/Qwen2.5-7B-Instruct-GGUF -y

# Supprimer un modèle
lms remove bartowski/Qwen2.5-7B-Instruct-GGUF

# Les modèles sont stockés sur le NFS partagé :
# storage-01:/srv/data/models → gpu-01:/mnt/models
# Symlink : /opt/lmstudio/.lmstudio/models → /mnt/models

---

Pourquoi llama-server remplace LM Studio pour l'inférence

Critère	LM Studio (Vulkan)	llama-server (ROCm)
Prefill	~100 tok/s	~400 tok/s
Génération	~15 tok/s	~70 tok/s
Backend	Vulkan (ROCm 6.x uniquement)	ROCm 7.x natif
API	OpenAI-compatible	OpenAI-compatible

Le backend ROCm de LM Studio est compilé pour ROCm 6.x et incompatible avec ROCm 7.x installé sur gpu-01. llama.cpp compilé from source avec ROCm 7.x donne un gain de ~5x sur la vitesse d'inférence.

---

Points d'attention

Sujet	Détail
GPU non officiel	RX 6700XT (gfx1031) — HSA_OVERRIDE_GFX_VERSION=10.3.0 dans le service llama-server
Gemma 4 interdit	Gemma 4 E2B/E4B crash Vulkan et ROCm sur prompts >800 tokens — utiliser Qwen
Modèles sur NFS	/opt/lmstudio/.lmstudio/models est un symlink vers /mnt/models (NFS automount)
lms get	Utiliser lms get <url-hf> pour télécharger, puis pointer llama-server sur le GGUF