akadmin/Funk-lab
1
0
Fork 0
mirror of https://github.com/Alkatrazz24/Funk-lab.git synced 2026-07-13 14:44:43 +02:00
Code Issues Projects Releases Packages Wiki Activity Actions

feat(llama_server): watchdog auto-réparation du wedge ROCm

Browse source 
Service systemd local sur gpu-01 qui sonde une vraie génération sur :1234
(pas juste /health, qui ment quand le slot d'inférence est figé). Sur N
échecs consécutifs → systemctl restart llama-server en local (root, sans
SSH/sudo distant). Gère le 503 "Loading model" post-restart sans le compter
comme échec.

Complète le llm-heartbeat (rôle litellm) : le heartbeat empêche la péremption
par inactivité de la connexion ; le watchdog répare le figeage du serveur lui-même.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
alkatrazz 2026-06-19 20:44:25 +02:00
parent 6e6dd45ac5
commit 0cb886acf7
7 changed files with 157 additions and 5 deletions
Download patch file Download diff file Expand all files Collapse all files

22
ansible/roles/llama_server/README.md
View file

@ -12,6 +12,28 @@ Compile llama.cpp (backend HIP/ROCm) et déploie le service **llama-server GPU**
`llama-embed` servant un modèle d'embedding spécialisé (ex. `nomic-embed-text`) sur
`:1238`, GPU. Télécharge le GGUF depuis `llama_embed_model_url` si absent. Partage le
binaire et le GPU avec `:1234` (modèle ~300 Mo VRAM).
- **Watchdog** (optionnel, `llama_watchdog_enabled`, défaut `true`) : service systemd
`llama-watchdog` qui sonde une **vraie génération** sur `:1234` toutes les
`llama_watchdog_interval` s. Sur `llama_watchdog_failures` échecs consécutifs →
`systemctl restart llama-server` **en local** (tourne en root, pas de SSH). Répare
automatiquement le wedge ROCm où `/health` reste vert mais l'inférence est morte
(cf. `admin/incidents-llm-gpu.md`). Logs : `journalctl -u llama-watchdog`.
## Watchdog — variables
| Variable | Défaut |
|---|---|
| `llama_watchdog_enabled` | `true` |
| `llama_watchdog_port` | `{{ llama_server_port }}` (1234) |
| `llama_watchdog_model` | `{{ llama_model_alias }}` (`qwen3-8b`) |
| `llama_watchdog_interval` | `20` (s entre deux sondes) |
| `llama_watchdog_timeout` | `15` (s max par sonde) |
| `llama_watchdog_failures` | `3` (échecs consécutifs avant restart) |
> Complémentaire au `llm-heartbeat` du rôle `litellm` : le heartbeat empêche la
> *péremption par inactivité* de la connexion LiteLLM↔llama-server ; le watchdog répare le
> *figeage* du llama-server lui-même. Le watchdog gère le `503 "Loading model"` post-restart
> (rechargement VRAM) sans le compter comme échec.
## Variables principales