Funk-lab/ansible
alkatrazz 6e6dd45ac5 feat(litellm): heartbeat anti-502 + request_timeout 20s
Cause racine du 502 « 1ʳᵉ demande après une pause » : la connexion keep-alive
LiteLLM↔llama-server devient inactive → llama-server la ferme → LiteLLM garde le
socket mort → la requête suivante part dans le vide → timeout → 502.

- llm-heartbeat : service systemd qui appelle hermes-default toutes les 15s
  (max_tokens:1, /no_think → ~10ms GPU) → la connexion n'est jamais inactive,
  jamais périmée. Logge les échecs → sert aussi de sonde (vraie génération).
- request_timeout 60→20s : un socket périmé échoue vite, dans la fenêtre où
  num_retries:2 peut rejouer sur une connexion neuve (sinon le client abandonnait
  avant le retry → 502 sec).
- Doc : admin/incidents-llm-gpu.md (fix racine) + README rôle.

⚠️ heartbeat appelle hermes-default en continu → si bascule sur Claude (facturé),
mettre llm_heartbeat_enabled: false. request_timeout global → remonter si Claude.

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-19 16:29:17 +02:00
..
group_vars feat(ghostfolio): suivi de portefeuille sur k8s (PG s01 + Redis) 2026-06-15 14:04:19 +02:00
host_vars feat(stt): embeddings dédiés nomic-embed-text sur gpu-01 (:1238) + migration auto (#12) 2026-06-17 21:54:41 +02:00
playbooks feat(auto-improve): workflow Hermes d'analyse et amélioration de la doc 2026-06-02 23:53:53 +02:00
roles feat(litellm): heartbeat anti-502 + request_timeout 20s 2026-06-19 16:29:17 +02:00
ansible.cfg feat: initial commit — Ansible roles storage-01/gpu-01 opérationnels 2026-05-12 17:17:03 +02:00
inventory.yml feat: initial commit — Ansible roles storage-01/gpu-01 opérationnels 2026-05-12 17:17:03 +02:00
requirements.yml feat: initial commit — Ansible roles storage-01/gpu-01 opérationnels 2026-05-12 17:17:03 +02:00