ALI YESILKAYA d6ec83af9d fix(litellm): request_timeout 600→60s + num_retries 2 (anti-connexion périmée) (#22) ... Cause du burst de 502 « cold-start » : après un restart de llama-server, LiteLLM garde des connexions keep-alive mortes dans son pool → la requête suivante hang jusqu'au timeout. Or request_timeout valait 600s → hang jusqu'à 10 min, sans log (LiteLLM attendait encore). Fix : - request_timeout 60s : borne le hang d'une connexion morte - num_retries 2 : rejoue → évince le socket périmé, repart sur une connexion neuve Doc : section dédiée dans admin/incidents-llm-gpu.md (mécanisme + application + reste à faire = watchdog qui bounce llama-server ET litellm). Application : ansible-playbook -i inventory.yml playbooks/storage-01.yml --tags litellm (redémarre LiteLLM → applique le fix ET purge le pool d'un coup). Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>		2026-06-19 16:00:29 +02:00
..
config.yaml.j2	fix(litellm): request_timeout 600→60s + num_retries 2 (anti-connexion périmée) (#22)	2026-06-19 16:00:29 +02:00
litellm.service.j2	feat: initial commit — Ansible roles storage-01/gpu-01 opérationnels	2026-05-12 17:17:03 +02:00