mirror of
https://github.com/Alkatrazz24/Funk-lab.git
synced 2026-07-08 17:24:41 +02:00
dca71144d6
- Remove admin/ from .gitignore (repo is now private) - Add --tui flag to hermes-dashboard.service template - Document hermes-tui wrapper, dashboard access, TUI usage Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
49 lines
1.7 KiB
Markdown
49 lines
1.7 KiB
Markdown
# LM Studio — Commandes d'administration
|
|
|
|
> **Note** : L'inférence GPU est désormais assurée par **llama-server** (voir `admin/llama_server.md`).
|
|
> LM Studio reste installé sur gpu-01 **uniquement pour la gestion des modèles** (`lms get`, `lms ls`).
|
|
> Le service `lm-studio` est désactivé.
|
|
|
|
---
|
|
|
|
## Gestion des modèles (lms CLI)
|
|
|
|
```bash
|
|
# Lister les modèles installés
|
|
lms ls
|
|
|
|
# Télécharger un modèle depuis HuggingFace
|
|
lms get https://huggingface.co/bartowski/Qwen2.5-7B-Instruct-GGUF -y
|
|
|
|
# Supprimer un modèle
|
|
lms remove bartowski/Qwen2.5-7B-Instruct-GGUF
|
|
|
|
# Les modèles sont stockés sur le NFS partagé :
|
|
# storage-01:/srv/data/models → gpu-01:/mnt/models
|
|
# Symlink : /opt/lmstudio/.lmstudio/models → /mnt/models
|
|
```
|
|
|
|
---
|
|
|
|
## Pourquoi llama-server remplace LM Studio pour l'inférence
|
|
|
|
| Critère | LM Studio (Vulkan) | llama-server (ROCm) |
|
|
|---|---|---|
|
|
| Prefill | ~100 tok/s | ~400 tok/s |
|
|
| Génération | ~15 tok/s | ~70 tok/s |
|
|
| Backend | Vulkan (ROCm 6.x uniquement) | ROCm 7.x natif |
|
|
| API | OpenAI-compatible | OpenAI-compatible |
|
|
|
|
Le backend ROCm de LM Studio est compilé pour ROCm 6.x et incompatible avec ROCm 7.x installé sur gpu-01.
|
|
llama.cpp compilé from source avec ROCm 7.x donne un gain de ~5x sur la vitesse d'inférence.
|
|
|
|
---
|
|
|
|
## Points d'attention
|
|
|
|
| Sujet | Détail |
|
|
|---|---|
|
|
| GPU non officiel | RX 6700XT (gfx1031) — `HSA_OVERRIDE_GFX_VERSION=10.3.0` dans le service llama-server |
|
|
| Gemma 4 interdit | Gemma 4 E2B/E4B crash Vulkan et ROCm sur prompts >800 tokens — utiliser Qwen |
|
|
| Modèles sur NFS | `/opt/lmstudio/.lmstudio/models` est un symlink vers `/mnt/models` (NFS automount) |
|
|
| lms get | Utiliser `lms get <url-hf>` pour télécharger, puis pointer llama-server sur le GGUF |
|