mirror of
https://github.com/Alkatrazz24/Funk-lab.git
synced 2026-07-08 11:44:43 +02:00
ALI YESILKAYA
577d61ebaa
* feat(litellm): heartbeat anti-502 + request_timeout 20s
Cause racine du 502 « 1ʳᵉ demande après une pause » : la connexion keep-alive
LiteLLM↔llama-server devient inactive → llama-server la ferme → LiteLLM garde le
socket mort → la requête suivante part dans le vide → timeout → 502.
- llm-heartbeat : service systemd qui appelle hermes-default toutes les 15s
(max_tokens:1, /no_think → ~10ms GPU) → la connexion n'est jamais inactive,
jamais périmée. Logge les échecs → sert aussi de sonde (vraie génération).
- request_timeout 60→20s : un socket périmé échoue vite, dans la fenêtre où
num_retries:2 peut rejouer sur une connexion neuve (sinon le client abandonnait
avant le retry → 502 sec).
- Doc : admin/incidents-llm-gpu.md (fix racine) + README rôle.
⚠️ heartbeat appelle hermes-default en continu → si bascule sur Claude (facturé),
mettre llm_heartbeat_enabled: false. request_timeout global → remonter si Claude.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
* feat(llama_server): watchdog auto-réparation du wedge ROCm
Service systemd local sur gpu-01 qui sonde une vraie génération sur :1234
(pas juste /health, qui ment quand le slot d'inférence est figé). Sur N
échecs consécutifs → systemctl restart llama-server en local (root, sans
SSH/sudo distant). Gère le 503 "Loading model" post-restart sans le compter
comme échec.
Complète le llm-heartbeat (rôle litellm) : le heartbeat empêche la péremption
par inactivité de la connexion ; le watchdog répare le figeage du serveur lui-même.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
---------
Co-authored-by: Claude Opus 4.8 <noreply@anthropic.com>
23 lines
1,022 B
YAML
23 lines
1,022 B
YAML
---
|
|
litellm_user: litellm
|
|
litellm_venv: /opt/litellm/venv
|
|
litellm_config_dir: /etc/litellm
|
|
|
|
litellm_host: "0.0.0.0" # toutes interfaces — pods k8s accèdent via 192.168.10.1:4000
|
|
litellm_port: 4000
|
|
litellm_master_key: "lm-studio"
|
|
|
|
# Clé Anthropic — vient du vault
|
|
litellm_anthropic_api_key: "{{ vault_anthropic_api_key }}"
|
|
|
|
# Endpoint llama-server sur gpu-01
|
|
litellm_local_llm_base_url: "http://192.168.10.20:1234/v1"
|
|
litellm_local_llm_api_key: "lm-studio"
|
|
|
|
# Heartbeat — garde chaud le tuyau LiteLLM↔llama-server (anti-502 « connexion périmée »).
|
|
# Petit appel à hermes-default toutes les N s : la connexion ne devient jamais inactive →
|
|
# la 1ʳᵉ vraie demande après une pause tombe toujours sur un tuyau vivant.
|
|
llm_heartbeat_enabled: true
|
|
llm_heartbeat_model: "hermes-default" # l'alias que consomme le STT (même tuyau)
|
|
llm_heartbeat_interval: 15 # secondes — doit être < à l'idle keep-alive du llama-server
|
|
llm_heartbeat_timeout: 20 # = request_timeout LiteLLM
|