mirror of
https://github.com/Alkatrazz24/Funk-lab.git
synced 2026-07-09 08:34:41 +02:00
ALI YESILKAYA
d6ec83af9d
Cause du burst de 502 « cold-start » : après un restart de llama-server, LiteLLM garde des connexions keep-alive mortes dans son pool → la requête suivante hang jusqu'au timeout. Or request_timeout valait 600s → hang jusqu'à 10 min, sans log (LiteLLM attendait encore). Fix : - request_timeout 60s : borne le hang d'une connexion morte - num_retries 2 : rejoue → évince le socket périmé, repart sur une connexion neuve Doc : section dédiée dans admin/incidents-llm-gpu.md (mécanisme + application + reste à faire = watchdog qui bounce llama-server ET litellm). Application : ansible-playbook -i inventory.yml playbooks/storage-01.yml --tags litellm (redémarre LiteLLM → applique le fix ET purge le pool d'un coup). Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com> |
||
|---|---|---|
| .. | ||
| alertmanager_webhook | ||
| common | ||
| dnsmasq | ||
| gateway | ||
| hermes_agent | ||
| hermes_auto_improve | ||
| hermes_user | ||
| litellm | ||
| llama_server | ||
| lm_studio | ||
| minio | ||
| nfs_client | ||
| nfs_server | ||
| node_exporter | ||
| postfix_relay | ||
| postgresql | ||
| qdrant | ||
| rag | ||
| rocm | ||