feat: anti-502 LLM — heartbeat (litellm) + watchdog auto-réparation (llama_server) (#23)

* feat(litellm): heartbeat anti-502 + request_timeout 20s

Cause racine du 502 « 1ʳᵉ demande après une pause » : la connexion keep-alive
LiteLLM↔llama-server devient inactive → llama-server la ferme → LiteLLM garde le
socket mort → la requête suivante part dans le vide → timeout → 502.

- llm-heartbeat : service systemd qui appelle hermes-default toutes les 15s
  (max_tokens:1, /no_think → ~10ms GPU) → la connexion n'est jamais inactive,
  jamais périmée. Logge les échecs → sert aussi de sonde (vraie génération).
- request_timeout 60→20s : un socket périmé échoue vite, dans la fenêtre où
  num_retries:2 peut rejouer sur une connexion neuve (sinon le client abandonnait
  avant le retry → 502 sec).
- Doc : admin/incidents-llm-gpu.md (fix racine) + README rôle.

⚠️ heartbeat appelle hermes-default en continu → si bascule sur Claude (facturé),
mettre llm_heartbeat_enabled: false. request_timeout global → remonter si Claude.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

* feat(llama_server): watchdog auto-réparation du wedge ROCm

Service systemd local sur gpu-01 qui sonde une vraie génération sur :1234
(pas juste /health, qui ment quand le slot d'inférence est figé). Sur N
échecs consécutifs → systemctl restart llama-server en local (root, sans
SSH/sudo distant). Gère le 503 "Loading model" post-restart sans le compter
comme échec.

Complète le llm-heartbeat (rôle litellm) : le heartbeat empêche la péremption
par inactivité de la connexion ; le watchdog répare le figeage du serveur lui-même.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

---------

Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>

ansible/roles/litellm/templates/config.yaml.j2

@@ -30,12 +30,16 @@ model_list:
 
 litellm_settings:
   drop_params: true
-  # 600s = 10 min : une connexion keep-alive périmée vers llama-server (après un
-  # restart de ce dernier) fait alors hanger LiteLLM 10 min avant d'abandonner →
-  # 502 en cascade pour tous les consommateurs. 60s borne ce hang.
-  request_timeout: 60
-  # Rejoue une requête échouée (timeout/erreur réseau) : sur la 2ᵉ tentative la
-  # connexion morte du pool est évincée → la requête repart sur une connexion neuve.
+  # Timeout PAR tentative. Doit rester COURT : sur une connexion keep-alive périmée
+  # (llama-server ferme les sockets inactifs), la 1ʳᵉ tentative hang jusqu'à ce timeout.
+  # Il doit être < au budget total du STT-server (2×30s) pour que `num_retries`
+  # ci-dessous ait le temps de rejouer AVANT que le client abandonne (sinon 502 sec).
+  # qwen3-8b /no_think répond en <8s → 20s laisse une grosse marge.
+  # ⚠️ Si on bascule hermes-default sur Claude (raisonnement long), remonter cette valeur.
+  request_timeout: 20
+  # Rejoue une requête échouée (timeout/erreur réseau) : la 2ᵉ tentative évince la
+  # connexion morte du pool → repart sur une connexion neuve. Avec request_timeout=20,
+  # un blip « connexion périmée » se résorbe en ~20s au lieu d'un 502.
   num_retries: 2
 
 general_settings:

ansible/roles/litellm/templates/llm-heartbeat.service.j2

@@ -0,0 +1,16 @@
+[Unit]
+Description=LiteLLM heartbeat — garde chaud le tuyau LiteLLM↔llama-server (anti-502 connexion périmée)
+After=litellm.service network-online.target
+Wants=litellm.service
+
+[Service]
+Type=simple
+ExecStart=/usr/local/bin/llm-heartbeat
+Restart=always
+RestartSec=10
+StandardOutput=journal
+StandardError=journal
+SyslogIdentifier=llm-heartbeat
+
+[Install]
+WantedBy=multi-user.target

ansible/roles/litellm/templates/llm-heartbeat.sh.j2

@@ -0,0 +1,38 @@
+#!/usr/bin/env bash
+# llm-heartbeat — garde « chaud » le tuyau LiteLLM ↔ llama-server.
+#
+# Pourquoi : llama-server ferme les connexions keep-alive inactives, mais LiteLLM
+# garde le socket mort dans son pool → la 1ʳᵉ requête après une pause part dans le
+# vide → timeout → 502 (cf. admin/incidents-llm-gpu.md). Un petit appel régulier
+# maintient la connexion vivante (et la re-crée AVANT la vraie demande si elle est morte).
+#
+# Double rôle (watchdog d'observation) : logge un échec → visible dans
+# `journalctl -u llm-heartbeat`. Déployé/géré par le rôle Ansible `litellm`.
+set -u
+
+URL="http://127.0.0.1:{{ litellm_port }}/v1/chat/completions"
+KEY="{{ litellm_master_key }}"
+MODEL="{{ llm_heartbeat_model }}"
+TIMEOUT="{{ llm_heartbeat_timeout }}"
+INTERVAL="{{ llm_heartbeat_interval }}"
+
+# `/no_think` + max_tokens:1 → génération quasi instantanée (~10 ms GPU), coût négligeable.
+payload="{\"model\":\"${MODEL}\",\"messages\":[{\"role\":\"user\",\"content\":\"ping /no_think\"}],\"max_tokens\":1}"
+
+fails=0
+while true; do
+  code=$(curl -s -m "$TIMEOUT" -o /dev/null -w '%{http_code}' \
+    "$URL" \
+    -H "Authorization: Bearer ${KEY}" \
+    -H "Content-Type: application/json" \
+    -d "$payload" 2>/dev/null) || code="000"
+
+  if [ "$code" = "200" ]; then
+    fails=0
+  else
+    fails=$((fails + 1))
+    echo "heartbeat KO: HTTP ${code} (${MODEL}) — chaîne LLM non réactive (${fails} échec(s) consécutif(s))"
+  fi
+
+  sleep "$INTERVAL"
+done