mirror of
https://github.com/Alkatrazz24/Funk-lab.git
synced 2026-07-15 11:54:41 +02:00
feat(llama_server): watchdog auto-réparation du wedge ROCm
Service systemd local sur gpu-01 qui sonde une vraie génération sur :1234 (pas juste /health, qui ment quand le slot d'inférence est figé). Sur N échecs consécutifs → systemctl restart llama-server en local (root, sans SSH/sudo distant). Gère le 503 "Loading model" post-restart sans le compter comme échec. Complète le llm-heartbeat (rôle litellm) : le heartbeat empêche la péremption par inactivité de la connexion ; le watchdog répare le figeage du serveur lui-même. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
parent
6e6dd45ac5
commit
0cb886acf7
7 changed files with 157 additions and 5 deletions
|
|
@ -12,3 +12,8 @@
|
|||
ansible.builtin.systemd:
|
||||
name: llama-embed
|
||||
state: restarted
|
||||
|
||||
- name: Restart llama-watchdog
|
||||
ansible.builtin.systemd:
|
||||
name: llama-watchdog
|
||||
state: restarted
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue