mirror of
https://github.com/Alkatrazz24/Funk-lab.git
synced 2026-07-08 17:24:41 +02:00
docs: suppression LM Studio — cluster utilise llama-server ROCm
- CLAUDE.md : état mis à jour (2026-05-13), gpu-01 → llama-server, setup IA → endpoints réels (llama-server + LiteLLM), rôles Ansible à jour, suppression CLI LM Studio - admin/lm_studio.md : marqué supprimé du cluster, lms CLI conservée pour téléchargement modèles uniquement, /opt/lmstudio disparu - admin/nfs.md : section modèles mise à jour (plus de symlink lmstudio) - admin/rocm.md : debug section → llama-server, section Vulkan supprimée - admin/README.md : description lm_studio.md mise à jour Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
parent
6be2a89480
commit
515933c949
5 changed files with 45 additions and 83 deletions
|
|
@ -18,7 +18,7 @@
|
|||
| [dnsmasq.md](dnsmasq.md) | DNS local lab.local — résolution, logs, ajout d'entrées |
|
||||
| [rocm.md](rocm.md) | GPU AMD RX 6700XT — ROCm, HSA_OVERRIDE, debug |
|
||||
| [llama_server.md](llama_server.md) | llama-server — inférence ROCm 7.x, API OpenAI, build, modèles |
|
||||
| [lm_studio.md](lm_studio.md) | LM Studio — gestion des modèles uniquement (lms get/ls) |
|
||||
| [lm_studio.md](lm_studio.md) | LM Studio — supprimé du cluster, CLI `lms` conservée pour téléchargement modèles |
|
||||
| [nfs.md](nfs.md) | NFS + RAID5 — exports, montages, automount, ajout de partages |
|
||||
| [systeme.md](systeme.md) | Services, logs, ressources, NetworkManager, dnf |
|
||||
| [litellm.md](litellm.md) | LiteLLM Proxy — routage Qwen local + Claude API, config, validation |
|
||||
|
|
|
|||
|
|
@ -1,31 +1,28 @@
|
|||
# LM Studio — Commandes d'administration
|
||||
# LM Studio — Historique
|
||||
|
||||
> **Note** : L'inférence GPU est désormais assurée par **llama-server** (voir `admin/llama_server.md`).
|
||||
> LM Studio reste installé sur gpu-01 **uniquement pour la gestion des modèles** (`lms get`, `lms ls`).
|
||||
> Le service `lm-studio` est désactivé.
|
||||
> **LM Studio est supprimé du cluster Funk (2026-05-13).**
|
||||
> L'inférence GPU est assurée par **llama-server** (llama.cpp compilé ROCm 7.x).
|
||||
> L'utilisateur `lmstudio` et le répertoire `/opt/lmstudio` ont été supprimés.
|
||||
> La CLI `lms` reste disponible sur gpu-01 pour télécharger des modèles GGUF.
|
||||
|
||||
---
|
||||
|
||||
## Gestion des modèles (lms CLI)
|
||||
## Télécharger des modèles (lms CLI)
|
||||
|
||||
```bash
|
||||
# Lister les modèles installés
|
||||
lms ls
|
||||
# Lister les modèles installés (stockés sur NFS /mnt/models)
|
||||
ssh g01 "lms ls"
|
||||
|
||||
# Télécharger un modèle depuis HuggingFace
|
||||
lms get https://huggingface.co/bartowski/Qwen2.5-7B-Instruct-GGUF -y
|
||||
|
||||
# Supprimer un modèle
|
||||
lms remove bartowski/Qwen2.5-7B-Instruct-GGUF
|
||||
ssh g01 "lms get https://huggingface.co/bartowski/Qwen2.5-7B-Instruct-GGUF -y"
|
||||
|
||||
# Les modèles sont stockés sur le NFS partagé :
|
||||
# storage-01:/srv/data/models → gpu-01:/mnt/models
|
||||
# Symlink : /opt/lmstudio/.lmstudio/models → /mnt/models
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## Pourquoi llama-server remplace LM Studio pour l'inférence
|
||||
## Pourquoi llama-server remplace LM Studio
|
||||
|
||||
| Critère | LM Studio (Vulkan) | llama-server (ROCm) |
|
||||
|---|---|---|
|
||||
|
|
@ -34,7 +31,7 @@ lms remove bartowski/Qwen2.5-7B-Instruct-GGUF
|
|||
| Backend | Vulkan (ROCm 6.x uniquement) | ROCm 7.x natif |
|
||||
| API | OpenAI-compatible | OpenAI-compatible |
|
||||
|
||||
Le backend ROCm de LM Studio est compilé pour ROCm 6.x et incompatible avec ROCm 7.x installé sur gpu-01.
|
||||
Le backend ROCm de LM Studio était compilé pour ROCm 6.x, incompatible avec ROCm 7.x installé.
|
||||
llama.cpp compilé from source avec ROCm 7.x donne un gain de ~5x sur la vitesse d'inférence.
|
||||
|
||||
---
|
||||
|
|
@ -44,6 +41,6 @@ llama.cpp compilé from source avec ROCm 7.x donne un gain de ~5x sur la vitesse
|
|||
| Sujet | Détail |
|
||||
|---|---|
|
||||
| GPU non officiel | RX 6700XT (gfx1031) — `HSA_OVERRIDE_GFX_VERSION=10.3.0` dans le service llama-server |
|
||||
| Gemma 4 interdit | Gemma 4 E2B/E4B crash Vulkan et ROCm sur prompts >800 tokens — utiliser Qwen |
|
||||
| Modèles sur NFS | `/opt/lmstudio/.lmstudio/models` est un symlink vers `/mnt/models` (NFS automount) |
|
||||
| lms get | Utiliser `lms get <url-hf>` pour télécharger, puis pointer llama-server sur le GGUF |
|
||||
| Gemma 4 interdit | Gemma 4 E2B/E4B crash ROCm sur prompts >800 tokens — utiliser Qwen |
|
||||
| Modèles sur NFS | Stockés dans `/mnt/models/` sur gpu-01 (NFS automount depuis storage-01) |
|
||||
| lms get | Télécharger avec `lms get <url-hf>`, puis pointer llama-server sur le GGUF |
|
||||
|
|
|
|||
16
admin/nfs.md
16
admin/nfs.md
|
|
@ -28,7 +28,7 @@ sudo systemctl status nfs-server
|
|||
/srv/data/
|
||||
├── nfs/
|
||||
│ └── k8s/ → export pour le NFS provisioner Kubernetes
|
||||
├── models/ → modèles LM Studio partagés (gpu-01 monte ce répertoire)
|
||||
├── models/ → modèles GGUF partagés (gpu-01 monte ce répertoire via NFS)
|
||||
├── hermes/ → données persistantes Hermes Agent (à venir)
|
||||
├── postgres/ → données PostgreSQL (à venir)
|
||||
├── qdrant/ → données Qdrant (à venir)
|
||||
|
|
@ -69,20 +69,16 @@ Les montages NFS sur gpu-01 utilisent `x-systemd.automount` :
|
|||
|
||||
---
|
||||
|
||||
## Modèles LM Studio sur NFS
|
||||
## Modèles GGUF sur NFS
|
||||
|
||||
```bash
|
||||
# Sur gpu-01 — symlink transparent pour LM Studio
|
||||
ls -la /opt/lmstudio/.lmstudio/models
|
||||
# → lrwxrwxrwx ... models -> /mnt/models
|
||||
|
||||
# Le contenu réel est sur storage-01
|
||||
# Les modèles sont montés directement sur gpu-01
|
||||
ls /mnt/models/
|
||||
# → lmstudio-community/gemma-4-E2B-it-GGUF/
|
||||
# → lmstudio-community/gemma-4-E4B-it-GGUF/
|
||||
# → bartowski/
|
||||
# → lmstudio-community/
|
||||
|
||||
# Ajouter un modèle (depuis gpu-01 — sera stocké directement sur NFS)
|
||||
lms get <modele>
|
||||
ssh g01 "lms get <modele>"
|
||||
```
|
||||
|
||||
---
|
||||
|
|
|
|||
|
|
@ -82,7 +82,7 @@ ssh g01 "sudo usermod -aG video,render ansible"
|
|||
|
||||
---
|
||||
|
||||
## Debug ROCm / LM Studio
|
||||
## Debug ROCm / llama-server
|
||||
|
||||
```bash
|
||||
# Tester OpenCL
|
||||
|
|
@ -99,18 +99,3 @@ ssh g01 "cat /sys/class/drm/card*/device/hwmon/hwmon*/temp1_input"
|
|||
ssh g01 "cat /sys/class/drm/card*/device/mem_info_vram_used"
|
||||
ssh g01 "cat /sys/class/drm/card*/device/mem_info_vram_total"
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## Fallback Vulkan (si ROCm ne fonctionne pas)
|
||||
|
||||
Si `rocminfo` ne liste pas le GPU malgré `HSA_OVERRIDE`, LM Studio peut utiliser Vulkan :
|
||||
|
||||
```bash
|
||||
# Vérifier que Vulkan fonctionne
|
||||
ssh g01 "vulkaninfo 2>/dev/null | grep 'GPU id'"
|
||||
|
||||
# Installer les outils Vulkan si absents
|
||||
ssh g01 "sudo dnf install -y vulkan-tools"
|
||||
```
|
||||
Dans LM Studio : Settings → GPU → Backend → Vulkan
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue