mirror of
https://github.com/Alkatrazz24/Funk-lab.git
synced 2026-07-15 03:04:42 +02:00
feat(litellm): heartbeat anti-502 + request_timeout 20s
Cause racine du 502 « 1ʳᵉ demande après une pause » : la connexion keep-alive
LiteLLM↔llama-server devient inactive → llama-server la ferme → LiteLLM garde le
socket mort → la requête suivante part dans le vide → timeout → 502.
- llm-heartbeat : service systemd qui appelle hermes-default toutes les 15s
(max_tokens:1, /no_think → ~10ms GPU) → la connexion n'est jamais inactive,
jamais périmée. Logge les échecs → sert aussi de sonde (vraie génération).
- request_timeout 60→20s : un socket périmé échoue vite, dans la fenêtre où
num_retries:2 peut rejouer sur une connexion neuve (sinon le client abandonnait
avant le retry → 502 sec).
- Doc : admin/incidents-llm-gpu.md (fix racine) + README rôle.
⚠️ heartbeat appelle hermes-default en continu → si bascule sur Claude (facturé),
mettre llm_heartbeat_enabled: false. request_timeout global → remonter si Claude.
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
parent
d6ec83af9d
commit
6e6dd45ac5
8 changed files with 141 additions and 10 deletions
|
|
@ -60,3 +60,27 @@
|
|||
enabled: true
|
||||
daemon_reload: true
|
||||
state: started
|
||||
|
||||
# ── Heartbeat : garde chaud le tuyau LiteLLM↔llama-server (anti-502 connexion périmée) ──
|
||||
- name: Deploy llm-heartbeat script
|
||||
ansible.builtin.template:
|
||||
src: llm-heartbeat.sh.j2
|
||||
dest: /usr/local/bin/llm-heartbeat
|
||||
mode: '0755'
|
||||
notify: Restart llm-heartbeat
|
||||
|
||||
- name: Deploy llm-heartbeat service
|
||||
ansible.builtin.template:
|
||||
src: llm-heartbeat.service.j2
|
||||
dest: /etc/systemd/system/llm-heartbeat.service
|
||||
mode: '0644'
|
||||
notify:
|
||||
- Reload systemd
|
||||
- Restart llm-heartbeat
|
||||
|
||||
- name: Enable and start llm-heartbeat
|
||||
ansible.builtin.systemd:
|
||||
name: llm-heartbeat
|
||||
enabled: "{{ llm_heartbeat_enabled }}"
|
||||
state: "{{ 'started' if llm_heartbeat_enabled else 'stopped' }}"
|
||||
daemon_reload: true
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue