akadmin/Funk-lab
1
0
Fork 0
mirror of https://github.com/Alkatrazz24/Funk-lab.git synced 2026-07-12 11:44:42 +02:00
Code Issues Projects Releases Packages Wiki Activity Actions

feat(llama_server): watchdog auto-réparation du wedge ROCm

Browse source 
Service systemd local sur gpu-01 qui sonde une vraie génération sur :1234
(pas juste /health, qui ment quand le slot d'inférence est figé). Sur N
échecs consécutifs → systemctl restart llama-server en local (root, sans
SSH/sudo distant). Gère le 503 "Loading model" post-restart sans le compter
comme échec.

Complète le llm-heartbeat (rôle litellm) : le heartbeat empêche la péremption
par inactivité de la connexion ; le watchdog répare le figeage du serveur lui-même.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
alkatrazz 2026-06-19 20:44:25 +02:00
parent 6e6dd45ac5
commit 0cb886acf7
7 changed files with 157 additions and 5 deletions
Download patch file Download diff file Expand all files Collapse all files

12
ansible/roles/llama_server/defaults/main.yml
View file

@ -25,3 +25,15 @@ llama_embed_model_alias: "nomic-embed-text"
llama_embed_ctx_size: 2048
llama_embed_n_gpu_layers: 99
llama_embed_pooling: "mean"
# Watchdog — auto-réparation du llama-server figé (wedge ROCm gfx1031).
# Sonde une VRAIE génération sur :1234 (pas seulement /health, qui ment quand le
# slot d'inférence est bloqué — cf. admin/incidents-llm-gpu.md). Sur N échecs
# consécutifs → `systemctl restart llama-server` en local (tourne en root).
llama_watchdog_enabled: true
llama_watchdog_port: "{{ llama_server_port }}"
llama_watchdog_model: "{{ llama_model_alias }}"
llama_watchdog_service: "llama-server"
llama_watchdog_interval: 20 # s entre deux sondes
llama_watchdog_timeout: 15 # s max par sonde (génération triviale)
llama_watchdog_failures: 3 # échecs consécutifs avant restart