akadmin/Funk-lab
1
0
Fork 0
mirror of https://github.com/Alkatrazz24/Funk-lab.git synced 2026-07-10 11:54:43 +02:00
Code Issues Projects Releases Packages Wiki Activity Actions

docs: suppression LM Studio — cluster utilise llama-server ROCm

Browse source 
- CLAUDE.md : état mis à jour (2026-05-13), gpu-01 → llama-server,
  setup IA → endpoints réels (llama-server + LiteLLM), rôles Ansible
  à jour, suppression CLI LM Studio
- admin/lm_studio.md : marqué supprimé du cluster, lms CLI conservée
  pour téléchargement modèles uniquement, /opt/lmstudio disparu
- admin/nfs.md : section modèles mise à jour (plus de symlink lmstudio)
- admin/rocm.md : debug section → llama-server, section Vulkan supprimée
- admin/README.md : description lm_studio.md mise à jour

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
alkatrazz 2026-05-13 16:21:51 +02:00
parent 6be2a89480
commit 515933c949
5 changed files with 45 additions and 83 deletions
Download patch file Download diff file Expand all files Collapse all files

31
admin/lm_studio.md
View file

@ -1,31 +1,28 @@
# LM Studio — Commandes d'administration
# LM Studio — Historique
> **Note** : L'inférence GPU est désormais assurée par **llama-server** (voir `admin/llama_server.md`).
> LM Studio reste installé sur gpu-01 **uniquement pour la gestion des modèles** (`lms get`, `lms ls`).
> Le service `lm-studio` est désactivé.
> **LM Studio est supprimé du cluster Funk (2026-05-13).**
> L'inférence GPU est assurée par **llama-server** (llama.cpp compilé ROCm 7.x).
> L'utilisateur `lmstudio` et le répertoire `/opt/lmstudio` ont été supprimés.
> La CLI `lms` reste disponible sur gpu-01 pour télécharger des modèles GGUF.
---
## Gestion des modèles (lms CLI)
## Télécharger des modèles (lms CLI)
```bash
# Lister les modèles installés
lms ls
# Lister les modèles installés (stockés sur NFS /mnt/models)
ssh g01 "lms ls"
# Télécharger un modèle depuis HuggingFace
lms get https://huggingface.co/bartowski/Qwen2.5-7B-Instruct-GGUF -y
# Supprimer un modèle
lms remove bartowski/Qwen2.5-7B-Instruct-GGUF
ssh g01 "lms get https://huggingface.co/bartowski/Qwen2.5-7B-Instruct-GGUF -y"
# Les modèles sont stockés sur le NFS partagé :
# storage-01:/srv/data/models → gpu-01:/mnt/models
# Symlink : /opt/lmstudio/.lmstudio/models → /mnt/models
```
---
## Pourquoi llama-server remplace LM Studio pour l'inférence
## Pourquoi llama-server remplace LM Studio
| Critère | LM Studio (Vulkan) | llama-server (ROCm) |
|---|---|---|
@ -34,7 +31,7 @@ lms remove bartowski/Qwen2.5-7B-Instruct-GGUF
| Backend | Vulkan (ROCm 6.x uniquement) | ROCm 7.x natif |
| API | OpenAI-compatible | OpenAI-compatible |
Le backend ROCm de LM Studio est compilé pour ROCm 6.x et incompatible avec ROCm 7.x installé sur gpu-01.
Le backend ROCm de LM Studio était compilé pour ROCm 6.x, incompatible avec ROCm 7.x installé.
llama.cpp compilé from source avec ROCm 7.x donne un gain de ~5x sur la vitesse d'inférence.
---
@ -44,6 +41,6 @@ llama.cpp compilé from source avec ROCm 7.x donne un gain de ~5x sur la vitesse
| Sujet | Détail |
|---|---|
| GPU non officiel | RX 6700XT (gfx1031) — `HSA_OVERRIDE_GFX_VERSION=10.3.0` dans le service llama-server |
| Gemma 4 interdit | Gemma 4 E2B/E4B crash Vulkan et ROCm sur prompts >800 tokens — utiliser Qwen |
| Modèles sur NFS | `/opt/lmstudio/.lmstudio/models` est un symlink vers `/mnt/models` (NFS automount) |
| lms get | Utiliser `lms get <url-hf>` pour télécharger, puis pointer llama-server sur le GGUF |
| Gemma 4 interdit | Gemma 4 E2B/E4B crash ROCm sur prompts >800 tokens — utiliser Qwen |
| Modèles sur NFS | Stockés dans `/mnt/models/` sur gpu-01 (NFS automount depuis storage-01) |
| lms get | Télécharger avec `lms get <url-hf>`, puis pointer llama-server sur le GGUF |