Funk-lab/ansible/roles/llama_server/templates
alkatrazz 0cb886acf7 feat(llama_server): watchdog auto-réparation du wedge ROCm
Service systemd local sur gpu-01 qui sonde une vraie génération sur :1234
(pas juste /health, qui ment quand le slot d'inférence est figé). Sur N
échecs consécutifs → systemctl restart llama-server en local (root, sans
SSH/sudo distant). Gère le 503 "Loading model" post-restart sans le compter
comme échec.

Complète le llm-heartbeat (rôle litellm) : le heartbeat empêche la péremption
par inactivité de la connexion ; le watchdog répare le figeage du serveur lui-même.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-19 20:44:25 +02:00
..
llama-embed.service.j2 feat(stt): embeddings dédiés nomic-embed-text sur gpu-01 (:1238) + migration auto (#12) 2026-06-17 21:54:41 +02:00
llama-server.service.j2 fix: monitoring — collecte métriques externes (nftables, llama --metrics, ROCm via 9100) 2026-05-13 22:41:19 +02:00
llama-watchdog.service.j2 feat(llama_server): watchdog auto-réparation du wedge ROCm 2026-06-19 20:44:25 +02:00
llama-watchdog.sh.j2 feat(llama_server): watchdog auto-réparation du wedge ROCm 2026-06-19 20:44:25 +02:00