mirror of
https://github.com/Alkatrazz24/Funk-lab.git
synced 2026-07-17 02:34:44 +02:00
feat(llama_server): watchdog auto-réparation du wedge ROCm
Service systemd local sur gpu-01 qui sonde une vraie génération sur :1234 (pas juste /health, qui ment quand le slot d'inférence est figé). Sur N échecs consécutifs → systemctl restart llama-server en local (root, sans SSH/sudo distant). Gère le 503 "Loading model" post-restart sans le compter comme échec. Complète le llm-heartbeat (rôle litellm) : le heartbeat empêche la péremption par inactivité de la connexion ; le watchdog répare le figeage du serveur lui-même. Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
parent
6e6dd45ac5
commit
0cb886acf7
7 changed files with 157 additions and 5 deletions
|
|
@ -0,0 +1,15 @@
|
|||
[Unit]
|
||||
Description=llama-watchdog (auto-réparation du llama-server figé — ROCm gfx1031)
|
||||
After=llama-server.service
|
||||
Wants=llama-server.service
|
||||
|
||||
[Service]
|
||||
Type=simple
|
||||
User=root
|
||||
ExecStart=/usr/local/bin/llama-watchdog
|
||||
Restart=always
|
||||
RestartSec=10
|
||||
SyslogIdentifier=llama-watchdog
|
||||
|
||||
[Install]
|
||||
WantedBy=multi-user.target
|
||||
Loading…
Add table
Add a link
Reference in a new issue