feat: anti-502 LLM — heartbeat (litellm) + watchdog auto-réparation (llama_server) (#23)

* feat(litellm): heartbeat anti-502 + request_timeout 20s

Cause racine du 502 « 1ʳᵉ demande après une pause » : la connexion keep-alive
LiteLLM↔llama-server devient inactive → llama-server la ferme → LiteLLM garde le
socket mort → la requête suivante part dans le vide → timeout → 502.

- llm-heartbeat : service systemd qui appelle hermes-default toutes les 15s
  (max_tokens:1, /no_think → ~10ms GPU) → la connexion n'est jamais inactive,
  jamais périmée. Logge les échecs → sert aussi de sonde (vraie génération).
- request_timeout 60→20s : un socket périmé échoue vite, dans la fenêtre où
  num_retries:2 peut rejouer sur une connexion neuve (sinon le client abandonnait
  avant le retry → 502 sec).
- Doc : admin/incidents-llm-gpu.md (fix racine) + README rôle.

⚠️ heartbeat appelle hermes-default en continu → si bascule sur Claude (facturé),
mettre llm_heartbeat_enabled: false. request_timeout global → remonter si Claude.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

* feat(llama_server): watchdog auto-réparation du wedge ROCm

Service systemd local sur gpu-01 qui sonde une vraie génération sur :1234
(pas juste /health, qui ment quand le slot d'inférence est figé). Sur N
échecs consécutifs → systemctl restart llama-server en local (root, sans
SSH/sudo distant). Gère le 503 "Loading model" post-restart sans le compter
comme échec.

Complète le llm-heartbeat (rôle litellm) : le heartbeat empêche la péremption
par inactivité de la connexion ; le watchdog répare le figeage du serveur lui-même.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

---------

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

ansible/roles/llama_server/defaults/main.yml

@@ -25,3 +25,15 @@ llama_embed_model_alias: "nomic-embed-text"
 llama_embed_ctx_size: 2048
 llama_embed_n_gpu_layers: 99
 llama_embed_pooling: "mean"
+
+# Watchdog — auto-réparation du llama-server figé (wedge ROCm gfx1031).
+# Sonde une VRAIE génération sur :1234 (pas seulement /health, qui ment quand le
+# slot d'inférence est bloqué — cf. admin/incidents-llm-gpu.md). Sur N échecs
+# consécutifs → `systemctl restart llama-server` en local (tourne en root).
+llama_watchdog_enabled: true
+llama_watchdog_port: "{{ llama_server_port }}"
+llama_watchdog_model: "{{ llama_model_alias }}"
+llama_watchdog_service: "llama-server"
+llama_watchdog_interval: 20         # s entre deux sondes
+llama_watchdog_timeout: 15          # s max par sonde (génération triviale)
+llama_watchdog_failures: 3          # échecs consécutifs avant restart