akadmin/Funk-lab
1
0
Fork 0
mirror of https://github.com/Alkatrazz24/Funk-lab.git synced 2026-07-08 10:04:42 +02:00
Code Issues Projects Releases Packages Wiki Activity Actions
Funk-lab/admin/lm_studio.md
alkatrazz 515933c949 docs: suppression LM Studio — cluster utilise llama-server ROCm 
- CLAUDE.md : état mis à jour (2026-05-13), gpu-01 → llama-server,
  setup IA → endpoints réels (llama-server + LiteLLM), rôles Ansible
  à jour, suppression CLI LM Studio
- admin/lm_studio.md : marqué supprimé du cluster, lms CLI conservée
  pour téléchargement modèles uniquement, /opt/lmstudio disparu
- admin/nfs.md : section modèles mise à jour (plus de symlink lmstudio)
- admin/rocm.md : debug section → llama-server, section Vulkan supprimée
- admin/README.md : description lm_studio.md mise à jour

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
2026-05-13 16:21:51 +02:00

1.6 KiB
Raw Blame History

LM Studio — Historique

LM Studio est supprimé du cluster Funk (2026-05-13). L'inférence GPU est assurée par llama-server (llama.cpp compilé ROCm 7.x). L'utilisateur lmstudio et le répertoire /opt/lmstudio ont été supprimés. La CLI lms reste disponible sur gpu-01 pour télécharger des modèles GGUF.

Télécharger des modèles (lms CLI)

# Lister les modèles installés (stockés sur NFS /mnt/models)
ssh g01 "lms ls"

# Télécharger un modèle depuis HuggingFace
ssh g01 "lms get https://huggingface.co/bartowski/Qwen2.5-7B-Instruct-GGUF -y"

# Les modèles sont stockés sur le NFS partagé :
# storage-01:/srv/data/models → gpu-01:/mnt/models

Pourquoi llama-server remplace LM Studio

Critère LM Studio (Vulkan) llama-server (ROCm)
Prefill ~100 tok/s ~400 tok/s
Génération ~15 tok/s ~70 tok/s
Backend Vulkan (ROCm 6.x uniquement) ROCm 7.x natif
API OpenAI-compatible OpenAI-compatible

Le backend ROCm de LM Studio était compilé pour ROCm 6.x, incompatible avec ROCm 7.x installé. llama.cpp compilé from source avec ROCm 7.x donne un gain de ~5x sur la vitesse d'inférence.

Points d'attention

Sujet Détail
GPU non officiel RX 6700XT (gfx1031) — HSA_OVERRIDE_GFX_VERSION=10.3.0 dans le service llama-server
Gemma 4 interdit Gemma 4 E2B/E4B crash ROCm sur prompts >800 tokens — utiliser Qwen
Modèles sur NFS Stockés dans /mnt/models/ sur gpu-01 (NFS automount depuis storage-01)
lms get Télécharger avec lms get <url-hf>, puis pointer llama-server sur le GGUF