mirror of
https://github.com/Alkatrazz24/Funk-lab.git
synced 2026-07-08 19:54:43 +02:00
515933c949
- CLAUDE.md : état mis à jour (2026-05-13), gpu-01 → llama-server, setup IA → endpoints réels (llama-server + LiteLLM), rôles Ansible à jour, suppression CLI LM Studio - admin/lm_studio.md : marqué supprimé du cluster, lms CLI conservée pour téléchargement modèles uniquement, /opt/lmstudio disparu - admin/nfs.md : section modèles mise à jour (plus de symlink lmstudio) - admin/rocm.md : debug section → llama-server, section Vulkan supprimée - admin/README.md : description lm_studio.md mise à jour Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
46 lines
1.6 KiB
Markdown
46 lines
1.6 KiB
Markdown
# LM Studio — Historique
|
|
|
|
> **LM Studio est supprimé du cluster Funk (2026-05-13).**
|
|
> L'inférence GPU est assurée par **llama-server** (llama.cpp compilé ROCm 7.x).
|
|
> L'utilisateur `lmstudio` et le répertoire `/opt/lmstudio` ont été supprimés.
|
|
> La CLI `lms` reste disponible sur gpu-01 pour télécharger des modèles GGUF.
|
|
|
|
---
|
|
|
|
## Télécharger des modèles (lms CLI)
|
|
|
|
```bash
|
|
# Lister les modèles installés (stockés sur NFS /mnt/models)
|
|
ssh g01 "lms ls"
|
|
|
|
# Télécharger un modèle depuis HuggingFace
|
|
ssh g01 "lms get https://huggingface.co/bartowski/Qwen2.5-7B-Instruct-GGUF -y"
|
|
|
|
# Les modèles sont stockés sur le NFS partagé :
|
|
# storage-01:/srv/data/models → gpu-01:/mnt/models
|
|
```
|
|
|
|
---
|
|
|
|
## Pourquoi llama-server remplace LM Studio
|
|
|
|
| Critère | LM Studio (Vulkan) | llama-server (ROCm) |
|
|
|---|---|---|
|
|
| Prefill | ~100 tok/s | ~400 tok/s |
|
|
| Génération | ~15 tok/s | ~70 tok/s |
|
|
| Backend | Vulkan (ROCm 6.x uniquement) | ROCm 7.x natif |
|
|
| API | OpenAI-compatible | OpenAI-compatible |
|
|
|
|
Le backend ROCm de LM Studio était compilé pour ROCm 6.x, incompatible avec ROCm 7.x installé.
|
|
llama.cpp compilé from source avec ROCm 7.x donne un gain de ~5x sur la vitesse d'inférence.
|
|
|
|
---
|
|
|
|
## Points d'attention
|
|
|
|
| Sujet | Détail |
|
|
|---|---|
|
|
| GPU non officiel | RX 6700XT (gfx1031) — `HSA_OVERRIDE_GFX_VERSION=10.3.0` dans le service llama-server |
|
|
| Gemma 4 interdit | Gemma 4 E2B/E4B crash ROCm sur prompts >800 tokens — utiliser Qwen |
|
|
| Modèles sur NFS | Stockés dans `/mnt/models/` sur gpu-01 (NFS automount depuis storage-01) |
|
|
| lms get | Télécharger avec `lms get <url-hf>`, puis pointer llama-server sur le GGUF |
|