mirror of
https://github.com/Alkatrazz24/Funk-lab.git
synced 2026-07-10 21:14:43 +02:00
Alkatrazz
0aa4c3650d
Audit complet des rôles vs état réel du cluster. Chaque rôle a maintenant un README.md : but, variables (défauts + surcharges host_vars/vault), handlers, vérifications, caveats. Gaps découverts et documentés : - minio : rôle VIDE (tasks/main.yml sans aucune tâche), service inactif — placeholder à implémenter ou retirer (ports 9000/9001 ouverts pour rien) - llama_server : ne gère que l'instance GPU :1234 — les services CPU llama-server-system :1236 et llama-server-monitor :1237 sont créés à la main sur gpu-01, non reproductibles par make apply-gpu (+ un llama-server-dev.service non documenté présent sur l'hôte) - hermes_auto_improve : defaults port/repo/branch/log non consommés (valeurs en dur dans les scripts), défaut branch obsolète - lm_studio : README de dépréciation, candidat suppression Tables admin/ops/ansible.md, README.md et CLAUDE.md corrigées en conséquence. Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
38 lines
1.7 KiB
Markdown
38 lines
1.7 KiB
Markdown
# llama_server
|
|
|
|
Compile llama.cpp (backend HIP/ROCm) et déploie le service **llama-server GPU** (`:1234`) sur gpu-01. Sert aussi les embeddings du RAG.
|
|
|
|
## Ce que fait le rôle
|
|
|
|
- Clone + build llama.cpp (cmake HIP, `gfx1030`) — build seulement si le binaire est absent
|
|
- Service systemd `llama-server` : modèle GGUF depuis `/mnt/models` (NFS), `:1234`
|
|
- Embeddings activés (`--embeddings`, pooling mean)
|
|
- Ouvre le port dans le firewall, désactive l'ancien service lm-studio
|
|
|
|
## Variables principales
|
|
|
|
| Variable | Défaut | Surcharge gpu-01 |
|
|
|---|---|---|
|
|
| `llama_server_port` | 1234 | — |
|
|
| `llama_model_path` | `""` | `/mnt/models/bartowski/Qwen3-8B-GGUF/Qwen3-8B-Q4_K_M.gguf` |
|
|
| `llama_model_alias` | `""` | `qwen3-8b` |
|
|
| `llama_ctx_size` | 32768 | 32768 |
|
|
| `llama_n_gpu_layers` | 99 | — |
|
|
| `hsa_override_gfx_version` | `10.3.0` | — |
|
|
|
|
## ⚠️ Gap IaC — instances CPU hors Ansible
|
|
|
|
Le rôle ne gère que l'instance **GPU** (`llama-server.service`). Les services suivants existent sur gpu-01 mais ont été créés **à la main** (non reproductibles par `make apply-gpu`) :
|
|
|
|
| Service | Port | Modèle | Usage |
|
|
|---|---|---|---|
|
|
| `llama-server-system.service` | 1236 | Qwen3-1.7B CPU | profil `system` |
|
|
| `llama-server-monitor.service` | 1237 | Qwen3-1.7B CPU | profil `monitor` |
|
|
| `llama-server-dev.service` | — | (non documenté, présent dans /etc/systemd/system) | ? |
|
|
|
|
**À faire** : templatiser ces instances dans le rôle (liste d'instances avec port/modèle/threads) pour qu'une réinstallation de gpu-01 restaure les 3 serveurs.
|
|
|
|
## Caveats
|
|
|
|
- Rebuild forcé : supprimer le binaire (`/opt/llama.cpp/build/bin/llama-server`) puis relancer le rôle
|
|
- Le modèle vient du NFS — voir caveat du rôle `nfs_client`
|